### Что такое индексирование сайта?

 

**Индексация (индексирование) сайта** — процесс добавления информации о страницах сайта в индексную базу данных поисковых систем. Решение об индексировании той или иной страницы принимается при её обходе (сканировании) поисковым роботом. Также следует понимать, что индексация веб-страницы предшествует её попаданию в поисковую выдачу, но не гарантирует этого.



### Зачем настраивать индексацию сайта?

 

Настраивать и контролировать процесс индексирования следует для того, чтобы:

* исключить индексацию ненужных страниц,
* ускорить индексацию новых страниц,
* ускорить переиндексацию обновлённых страниц.


### Что затрудняет индексацию сайта?

 

* Наличие дубликатов страниц,
* некорректная обработка несуществующих страниц сервером («ложная ошибка 404»),
* некорректные HTTP-статусы страниц,
* ошибки в файле *robots.txt*,
* ошибки в файлах *Sitemap*.


### Как ускорить индексирование веб-страниц?

 

Ускорению индексации способствуют:

* установленные счетчики веб-аналитики *Яндекс.Метрика* и *Google Аналитика*,
* полноценный динамический файл *Sitemap* в формате *XML*,
* применение соответствующих возможностей в сервисах *Яндекс.Вебмастер* и *Search Console*.


### Как запретить индексирование веб-страниц?

 

Запретить индексацию можно посредством:

* запрещающих директив в файле *robots.txt*,
* мета-тега *robots* со значением `noindex`,
* склейки дубликатов страниц посредством редиректов,
* тега `<link>` с атрибутом `rel="canonical"` и ссылкой на канонический URL в атрибуте `href`.