Для наполнения проекта pre.musicdown.org приходится использовать самописный парсер, с помощью которого сайт автоматически наполняется свежей информацией о музыкальных релизах. Парсером является скрипт написанный на PHP, который в свою очередь через определенный промежуток времени запускает планировщик CRON.
Примерно неделю парсер работал нормально, но через какое то время админы одного из сайтов от куда скрипт берет информацию обнаружили, что их сайт парсят и запретили доступ к нему c IP откуда он запускался.
Read more…
PHP
Anonymous, CRON, CURL, Elite, Internet, IP, PRE, Proxy, TimeOut, Transperent, User-Agent
Transparent Proxy – IP адрес, сервер может получить используя значение переменной HTTP_ X_ FORWARDED_ FOR. Такие прокси в большинстве случаев используются для повышения скорости и уменьшения зарубежного трафика.
Anonymous Proxy – IP адрес скрыт от сервера но в тоже время сервер знает что при соединении был использован прокси. Данные прокси эффективно используются для анонимного серфинга в интернете.
Elite Proxy – IP адрес как и факт использования прокси при серфинге останется незамеченным сервером. Данные прокси эффективно используются для скрытия вашего присутствия в интернете.
Web
Anonymous, Elite, IP, Proxy, Transparent, Прокси