Как ИИ-модели сканируют сайты с помощью LLMs.txt

(1 оценок, среднее: 4 из 5)
Как ИИ-модели сканируют сайты с помощью LLMs.txt

Агентство Reboot Online провело эксперимент, посещают ли боты ИИ (ChatGPT, Gemini, Claude) файл LLMs.txt на сайтах и используют ли его данные для индексации.

Как проверяли:

  • Взяли 2 сайта, которые точно посещают ИИ-боты;
  • Создали 4 «невидимых» страницы (без ссылок на них);
  • Добавили ссылки на эти страницы только в LLMs.txt;
  • Ждали 3 месяца, мониторили логи.

Результат:

  • 0 заходов ботов на тестовые страницы;
  • 0 запросов к файлу LLMs.txt.

Боты продолжали сканировать остальные страницы сайта.

Рекомендации:

  • Усиливайте внутреннюю перелинковку и контент на часто сканируемых страницах;
  • Работайте с упоминаниями бренда на авторитетных сайтах — ИИ цитирует их;
  • Анализируйте логи: какие боты реально к вам заходят.

Подробнее.

Оставьте комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *