Для наполнения проекта pre.musicdown.org приходится использовать самописный парсер, с помощью которого сайт автоматически наполняется свежей информацией о музыкальных релизах. Парсером является скрипт написанный на PHP,  который в свою очередь через определенный промежуток времени запускает планировщик CRON.

Примерно неделю парсер работал нормально, но через какое то время  админы одного из сайтов от куда скрипт берет информацию обнаружили, что их сайт парсят и запретили доступ к нему c IP  откуда он запускался.
Read more…

PHP Anonymous, CRON, CURL, Elite, Internet, IP, PRE, Proxy, TimeOut, Transperent, User-Agent

Быстро в индекс

После запуская сайта pre.musicdown.org, прошло порядка 15ти минут после чего первые страницы уже оказались в индексе Googl’a, а к утру в индексе было уже порядка 100 страниц. Сегодня сутра обнаружил АП ЯВ и первая страница сайта уже была проиндексирована Yandex’ом.

SEO Google, PRE, Yandex, АП, индекс, ЯВ

PRE MP3 DB

Сегодня завершил начальную разработку проекта http://pre.musicdown.org. Все содержимое сайта – это только названия mp3 релизов, название группы выпустившей релиз, музыкальный стиль релиза и дата-время релиза (+GMT 1). Частота обновления – несколько минут.

Для чего это нужно? Нужно для того, чтобы проинформировать тех кому это необходимо о том, что вышел очередной новый релиз. На данный момент Релизов в БД – 285206, это количество релизов выпущенных с начала 2007 года.

Каждый день в базу добовляется более 100-та новых релизов.

Web DB, MP3, musicdown, PRE, релиз