Пайдеры поисковых систем, иногда называемые сканерами, используются поисковыми системами Интернета для сбора информации о веб-сайтах и отдельных веб-страницах. Поисковым системам нужна информация со всех сайтов и страниц; иначе они не знали бы, какие страницы отображать в ответ на поисковый запрос и с каким приоритетом.
Пауки поисковых систем просматривают Интернет и создают очереди веб-сайтов для дальнейшего изучения. По мере того, как паук покрывает конкретный веб-сайт, паук читает весь текст, гиперссылки, метатеги (метатеги представляют собой специально отформатированные ключевые слова, вставленные в веб-страницу таким образом, чтобы паук мог их найти и использовать) и код.. Используя эту информацию, паук предоставляет профиль поисковой системе. Затем паук собирает дополнительную информацию, переходя по гиперссылкам на веб-странице, что позволяет лучше собирать данные об этих страницах. Именно по этой причине наличие ссылок на вашей веб-странице - и, что еще лучше, на других веб-страницах, ссылающихся на вашу - так полезно для поиска вашего веб-сайта поисковыми системами.
У пауков есть четыре основных способа сбора информации. Один тип пауков используется только для создания очередей веб-страниц для поиска другими пауками. Этот паук, работающий в режиме «выборки», определяет приоритетность страниц для просмотра и проверяет, не загружена ли уже более ранняя версия страницы. Второй режим - это паук, разработанный специально для просмотра страниц, которые уже были просканированы пауком. Этот режим называется «повторное посещение». Некоторые поисковые системы обеспокоены тем, что страница была слишком тщательно просканирована другими пауками, поэтому они используют режим паука, называемый «вежливостью», который ограничивает сканирование перегруженных страниц. Наконец, «распараллеливание» позволяет пауку координировать свои усилия по сбору данных с другими пауками поисковых систем, которые сканируют ту же страницу.
Часто задаваемые вопросы
Почему поисковые роботы называются пауками?
Веб-сканеры называются «пауками», потому что они просматривают веб-сайты, переходя по ссылкам, чтобы найти новые страницы - подобно тому, как пауки ползают по своей паутине.
Что такое паук и индексатор?
Паук - это компьютерная программа, которая автоматически собирает или "сканирует" информацию из Интернета. Индексатор поисковой системы - это программа, которая считывает информацию паука и создает на ее основе индекс. Индекс - это то, что позволяет поисковой системе предоставлять релевантные результаты, когда пользователь вводит запрос.