Есть страницы:
/add_comment-1.html
/add_comment-2.html
/add_comment-3.html
/add_comment-4.html
и т.д.. Как запретить их индексацию через robots.txt?
Disallow: /add_comment-*.html
^так?

Constantin_Logan, да, так.

Constantin_Logan, Использование спецсимволов "*" и
"$" При указании путей директив A l l ow- D i s a l l owможно использовать спецсимволы ' * ' и ' $ ' , задавая, таким образом, определенные регулярные
выражения. Спецсимвол ' * ' означает любую (в том числе пустую)
последовательность символов. Примеры: U s e r - a g e n t : Y a n d e x D i s a l l ow: / c g i - b i n / * . a s p x # з а п р еща е т ' / c g i - b i n / e x amp l e . a s p x ' # и ' / c g i - b i n / p r i v a t e / t e s t . a s p x ' D i s a l l ow: / * p r i v a t e # з а п р еща е т н е т о л ь к о ' / p r i v a t e ' , # н о и ' / c g i - b i n / p r i v a t e ' Спецсимвол '$' По умолчанию к концу каждого правила,
описанного в robots.txt, приписывается ' * ' , например: U s e r - a g e n t : Y a n d e x D i s a l l ow: / c g i - b i n * # б л о к и р у е т д о с т у п к с т р а н и ц а м # н а ч и н ающим с я с ' / c g i - b i n ' D i s a l l ow: / c g i - b i n # т о же с а мо е Чтобы отменить ' * ' на конце правила, можно использовать спецсимвол ' $ ' , например: U s e r - a g e n t : Y a n d e x D i s a l l ow: / e x amp l e $ # з а п р еща е т ' / e x amp l e ' , # н о н е з а п р еща е т ' / e x amp l e . h t m l ' U s e r - a g e n t : Y a n d e x D i s a l l ow: / e x amp l e # з а п р еща е т и ' / e x amp l e ' , # и ' / e x amp l e . h t m l ' U s e r - a g e n t : Y a n d e x D i s a l l ow: / e x amp l e $ # з а п р еща е т т о л ь к о ' / e x amp l e ' D i s a l l ow: / e x amp l e * $ # т а к же , к а к ' D i s a l l ow: / e x amp l e ' # з а п р еща е т и / e x amp l e . h t m l и / e x amp l e
добавлено спустя 57 секунд:
читайте наконец факи пс

=) я случайно заметил что мой сайт в гугле на 4-ом месте по поисковому запросу проведи время интересно.

woron, не исключено, но явно не в массовом потоке..