Category: it

Category was added automatically. Read all entries about "it".

prepod2000

Геокешинг и рейтинг геокешеров за сутки


Геокешинг ("geocaching", от греч. "geo" - Земля, англ. "cache" - тайник) - увлекательная игра, связанная с поиском тайников или разгадыванию загадок, связанных с географическими координатами. К сожалению, на сайте геокешеров отсутствовал рейтинг, поэтому пришлось в меру скромных возможностей устранить данный недостаток, что и удалось сделать 2 августа 2010  г.
Первый раз в жизни писал приложение для Интернета, день возился, получил массу удовольствия от Python 2.6+twill ! Программа работала 5,5 часа (успел уснуть после ее запуска и проснуться к завершению работы), пока собрала всю информацию. Доступа-то к БД никто не давал, пришлось открывать более 27 тысяч профилей игроков по одному и собирать из них данные (естественно, программой). Перед этим надо было, чтобы программа умела открывать нужную страницу и входить по логину и паролю ... А потом нужно было еще разбирать полученные html-файлы профиля ....  Экспорт в файл типа csv  и последующая обработка данных в Excel - и можно рейтинг выгружать на сайт.
Очень помогли ссылки по работе с Питоном:

Написание своего реггера на Python. Часть 1  и 2, там же ссылки, откуда взять Python и twill.
Ответы Google
Форум программистов
Очаровательный Python - Текстовая обработка
Портал Python - программистов
Работа с файлами - Серый форум программистов - Поваренная книга
и советы автора Pureputhon.narod.ru

В общем, картина по рейтингу получилась такая - взявших хотя бы один тайник игроков - 8483, тех, кто более одного раза заходил на сайт - 5617. Лично у меня 10 взятых тайников, и соответственно место с 1701 по 1818, то есть я вошел (правильнее сказать "мы вошли", тайники-то берем вместе!) в 6,14% лучших по числу взятых тайников игроков. А кто отстает, пусть догоняет! А можно и не догонять, а брать их вместе с нами! :-)
Страница с рейтингом размещена на моем сайте - http://www.prepod2000.kulichki.net/georating201008.html
03.09.2010 программа переработана и много операций автоматизировано, чему немало способствует то, что инет рвался 6 раз! В итоге пришлось дописать процедуры сбора информации не всей, а только по отсутствующим игрокам. Кроме того, выяснилось, что можно запустить одновременно несколько копий программы, собирая данные в соответствующее число раз быстрее. Вдобавок Excel стал зависать при обработке 28000 строчной таблицы, а Calc из Open Office хотя и не зависал, но работал крайне медленно. К счастью, любимая супруга (не зря вела практику по ИТ в экономике!) посоветовала прибегнуть к помощи Access откуда данные были проэкспортированы в HTML! Ура! Рейтинг сделан!
Интересные мысли и комментарии в блоге http://community.livejournal.com/geocaching_ru/65228.html
02.10.2010 сделана новая версия рейтинга и теперь постоянная ссылка на рейтинг - http://www.prepod2000.kulichki.net/georating.html
Доступ к остальным страницам будет организован по ссылке с этой.