Didget
У меня весь сайт закрыт, от незарегистрированных пользователей. И вот, я хочу создать отдельного юзера, и чтобы боты могли заходить с него и сканировать закрытые страницы. Как это реализовать?
Didget
У меня весь сайт закрыт, от незарегистрированных пользователей. И вот, я хочу создать отдельного юзера, и чтобы боты могли заходить с него и сканировать закрытые страницы. Как это реализовать?
Mars
$robots = array(
'googlebot' => 'Googlebot',
'msnbot' => 'MSNBot',
'slurp' => 'Inktomi Slurp',
'yahoo' => 'Yahoo',
'askjeeves' => 'AskJeeves',
'fastcrawler' => 'FastCrawler',
'infoseek' => 'InfoSeek Robot 1.0',
'lycos' => 'Lycos'
);
Mars
проверяешь есть ли в юзер агенте что то из этого массива, если есть то робот
27 Май 2010, 20:31Mars
ну и что там? я тебе подсказал как определить что это бот а дальше сам додумывайся, авторизуй его и тп
27 Май 2010, 20:38DRSG
Mars, еще Yandex забыл 
А Google в целях выявления клоакинга может иметь User-Agent без какого либо упоминания о том что это Googlebot, например по моему сайту постоянно штуки три гуглоботов косят под SAMSUNG E250, и выдает их только IP принадлежащий Google.
777
DRSG, гы,а я всё думаю чё за сволочь с самсунга е250 сутками на сайте седит
