ROBOTS.TXT: поиск по тегам
Владельцы сайтов интернет-магазинов регулярно сталкиваются с тем, что при индексации страницы пагинации воспринимаются поисковыми системами как дубли. Чтобы избежать этого, программисты и SEO-специалисты должны внимательно следить за настройками страниц — причем не только в файле robots.txt, но и в программном коде.