Краулер (бот, паук, робот поисковой системы) – это автоматизированная программа, которая сканирует веб-страницы для поисковых систем. Его задача – собирать...