После изобретения интернета, а затем всемирного и повсеместного создания различных интернет-сайтов, возникла необходимость поиска, как самих сайтов, так и информации среди их обилия.
С этой целью использовались различные программы, постепенно прошедшие трансформацию к современным поисковым системам с индексируемыми сайтами.
Поисковый алгоритм
Различные системы поиска разрабатывались на основе разных технологий, а потому имеют свои уникальные поисковые алгоритмы. То есть, когда пользователь такой системы вводит в поисковую строку запрос и нажимает поиск, ему выдаются результаты, обычно по 10 на страницу. А вот какие именно сайты будут отображены на первой странице результатов, какие на второй и далее – это зависит от поискового алгоритма, который делиться на три этапа:
- индексация интернет ресурсов (сайтов, блогов, интернет-магазинов и всего-всего, что есть в сети);
- ранжирование проиндексированных ресурсов;
- выдача наиболее релевантных ресурсов, согласно ранжированию.
Процесс индексации сайта и его страниц
Есть несколько вариантов, как происходит индексация сайтов в различных поисковых системах, но абсолютное большинство использует автоматических роботов – компьютерные программы. Такие программы постоянно, каждую секунду, просматривают множество сайтов и оценивают их по самым разным критериям.
Поисковые системы учитывают:
- возраст сайта – чем выше возраст, тем лучше, некоторые системы имеют своеобразный фильтр, отсеивающий только созданные сайты из выдачи;
- количество страниц на сайте – чем больше, тем лучше; ресурсы с 100 страницами и с 10000, не идут ни в какое сравнение;
- внутреннюю оптимизацию – здесь учитывается огромное количество факторов: безопасность кода (отсутствие вредоносных элементов), наличие карты сайта, глубина сайта, уникальность содержимого; проводится анализ текста на ключевые слова и, соответственно, релевантность каждой отдельной страницы и сайта в целом и другие;
- индекс цитируемости – у каждой поисковой системы он имеет разное название и рассчитывается особыми методами, но суть одна: высчитывается количество ссылок и упоминаний на конкретный сайт с других сайтов, а также оценивается авторитетность и тематика таких вот ресурсов, откуда приходит ссылка;
- наличие сайта в различных каталогах сайтов – есть некоторые общепризнанные каталоги и рейтинги, наличие в которых позитивно оценивается в глазах поисковых систем;
- а также масса других критериев, которые и высчитать очень трудно, и о которых мы можем только догадываться, поскольку полностью принцип работы поискового алгоритма не раскрывает ни одна система поиска.
Все эти данные о сайте, ключевых словах и прочему сохраняются на серверах поисковых систем. Поскольку в интернете миллиарды страниц, то самые популярные системы имеют огромнейшие дата-центры для хранения необходимых данных.
Процесс ранжирования
Что же происходит дальше? Вот поисковый робот прошел по ссылке, находящейся на известном ему сайте, на новый, еще не известный. Он всецело его анализирует по заданному алгоритму и сохраняет результаты в базу данных поисковой системы.
Через какое-то время, пользователь интернета вводит в поиск запрос, который является одним из ключевых слов для этого сайта (нового). Мгновенно (вернее очень быстро, за тысячные доли секунды), происходит проверка баз данных поисковой системы на наличие соответствий. Все найденные страницы сайтов, а их даже по самым непопулярным запросам обычно тысячи, сравниваются между собой на релевантность запросу пользователя и другие параметры (их поисковые системы не оглашают), а затем ранжируются (выстраиваются) в рейтинг от наиболее релевантных с высокими параметрами к низким.
Лидер такого рейтинга будет показан на первом месте поисковой выдаче по данному запросу, второе место – вторым, и так далее.
Санкции поисковых систем
На позицию в рейтинге выдачи систем поиска могут влиять различные санкции этих систем, штрафы. Они накладываются на сайты по самым разным причинам, преимущественно это нарушение каких-либо правил: использование не уникального контента (понижение в рейтинге), черные методы продвижении (бан – исключение из рейтинга поисковой системы), доказанные случаи покупки ссылок на сайт (понижение в рейтинге), публикация запрещенных материалов, кража программного обеспечения и прочее.
Конечно, если на вас наложили какие-то санкции (а это легко определяется по резко упавшей посещаемости сайта или резком проседании в рейтинге выдачи), можно обратиться в службу поддержки такой системы поиска, узнать причину, исправить и ждать, когда с вашего сайта снимут ограничения и переиндексируют. Иногда этот процесс может длиться 2-3 месяца.
Сами системы поиска также можно сравнивать и анализировать за разными критериями: полнотой выдачи информации, её актуальностью, скоростью обработки запросов.
Некоторые системы предпочитают людскую систему индексации, что характерно для различных каталогов. Их преимуществами являются, несомненно, более качественный анализ сайтов, а значит и предоставление более релевантной информации по запросу. Но вот скорость обновления информации, а также её актуальность, может быть слишком низкой.
