Файлы robots.txt и sitemap.xml в конструкторе сайта TL: Express

Если вы когда-нибудь задавались вопросом, как поисковые системы находят страницы вашего сайта и почему некоторые из них отображаются в результатах поиска, нужно понять роль файлов robots.txt и sitemap.xml.

Что такое robots.txt?

Robots.txt — это специальный файл, который находится в корневой папке вашего сайта. Он подсказывает поисковым роботам (Googlebot или Яндекс и другим) какие страницы сайта можно сканировать и показывать в поисковой выдаче, а какие — нет.

В этом файле есть правила с командами:

Allow — разрешить индексацию страницы;
Disallow — запретить индексацию страницы.

Например, с помощью robots.txt в конструкторе сайта TL: Express закрыты от индексации технические страницы, личные кабинеты и страницы с рекламными метками. Это помогает защитить личные данные ваших клиентов и исключить из поиска ненужные страницы.

Что такое sitemap.xml?

Sitemap.xml — файл со списком всех страниц сайта, которые нужно показать поисковым системам, т. е. это карта вашего сайта в виде файла. Sitemap помогает поисковикам быстрее и эффективнее находить и индексировать ваш сайт.

В сайте с несколькими языковыми версиями создаётся отдельный sitemap для каждого языка. В файле также указывается дата последнего обновления страниц и их приоритет для обхода.

Как это работает в TL: Express?

Файлы robots.txt и sitemap.xml работают вместе, чтобы поисковые системы правильно индексировали ваш сайт. Robots.txt сообщает, что показывать нельзя, а sitemap указывает, что нужно найти.

В конструкторе сайта TL: Express эти файлы создаются и обновляются автоматически, вам не нужно заниматься их настройкой или редактированием.

Как проверить, есть ли у сайта эти файлы?

Это легко сделать:

Введите в браузере адрес вашего сайта и добавьте /robots.txt — например, www.example.com/robots.txt
Аналогично для карты сайта — добавьте /sitemap.xml

Если файл есть, вы увидите его содержимое.