вариантов решения этой суперсложной задачи миллион.
Но исходя из следующего решать ее нету смысла:
1. темпы сканирования ужасно медленные (всего 22 тыс)
2. на пхп такое не делается
3. выборка только по поиску слова, никакого анализа сайта, в топку такой поисковик, все чернушники на первых местах будут а про майкрософт все забудут ((
4. с таким жлобским отношением к проекту он макс до 220 тыс поднимется.
5. бюджет нужен в миллион раз больше.

roboforex, а ты пишешь его для себя? Много слов, ищут не слова а информацию, а её мало. Или 20сайтов в кеше эт думаешь весь инет?

roboforex, без комментариев
добавлено спустя 1 минуту:
только одно но, что мешает оставить цикл while но брать не в файлах, а в бд?

и почему ты так мускул не любишь

roboforex пишет:
"dukales77, ненада тут сказки за мускул разказывть он предназначен для хранения даных. И кто вам всем внушил что он лучше, я вам говорю что перебор лучше делать парой while и strpos, так можна алгоритм поиска менять."