Crawler

Этот перевод не завершен. Пожалуйста, помогите перевести эту статью с английского

Поисковый робот(паук, краулер) часто называемый просто "бот" или "робот" это программа, систематически обходящая Web для сбора данных со страниц веб-сайтов. Обычно поисковые сервисы (напр. Google, Bing, и пр.) используют поисковых роботов для индексирования сайтов.

Узнать больше