Robots.txt - це текстовий файл, який знаходиться в кореневій директорії ресурсу і містить інструкції для пошукових машин:

  • заборона індексації окремих розділів, сторінок або файлів, які можуть ускладнити розкручування сайту,
  • рекомендації щодо дотримання часового проміжку між скачуванням файлів з сервера,
  • інформацію про дзеркала домену т.д.

Історія

Документ «Стандарт винятків для роботів» - це результат угоди між основними виробниками пошукових систем, укладеного 30 червня 1994 року. Даний стандарт не є офіційним або корпоративним і не гарантує його дотримання майбутніми пошуковими ботами. Причиною прийняття угоди став той факт, що індексація відбувається періодично проти бажання власників сайтів, може здійснюватися некоректно і ускладнювати роботу відвідувачів ресурсу з сервером.

Cтворення файлу

Для створення robots.txt необхідний звичайний текстовий файл. Якщо розкрутка сайту не вимагає установки заборон щодо індексації, досить зробити порожній документ. На ресурсі може бути тільки один robots.txt, обов'язково в його корені (розміщення файлу в піддиректоріях зробить його непомітним для пошукових роботів без використання спеціальних мета-тегів robots). Так як URL чутливий до регістру, назва файлу пишеться малими латинськими буквами. Якщо в процесі оптимізації сайту файл robots.txt не було створено, якщо він порожній або заповнений не за стандартом, пошукові боти працюють за своїм алгоритмом.

Cтандарт

Robots.txt може містити одну або кілька записів (кожна обов'язково з нового рядка) в формі <поле:> <пробіл> <значення> <пробіл>. Поле від регістру не залежить. У файл можуть бути включені коментарі в стандартному для UNIX вигляді (# - початок коментаря, кінець рядка - його закінчення). Запис починається з рядка User-Agent (однієї або декількох), потім Disallow. Нерозпізнані поля ігноруються.

Найпростіший robots.txt виглядає наступним чином:

User-agent: *
Disallow: /назва 1-го розділу/
Disallow: /назва 2-го розділу/
Disallow: /назва 3-го розділу/
В даному випадку заборонена індексація трьох розділів.

User-Agent. Значним для цього поля є ім'я пошукового бота, для якого встановлюються права доступу. Якщо вказані кілька імен, то права доступу розповсюджуються на всіх перерахованих. Символ «*» замість імені означає, що запис містить інструкції для всіх пошукових роботів.

Disallow. Значним для цього поля є повний або частковий URL, який не можна індексувати. Якщо воно не вказано, аналізується все дерево сторінок на сервері.

В robots.txt не описує шлях до панелей управління на сайті або консолей адміністратора, так як файл доступний для читання відвідувачам ресурсу. Пошуковики в будь-якому разі не індексують сторінки, що запитують логін або пароль, або ті, на які немає посилань.

Як стати клієнтом GoToTOP?

Для замовлення стратегії в Львові або Львівській області просто заповніть заявку. Менеджер по роботі з клієнтами зв'яжеться з вами і підготує персональне комерційну пропозицію performance-marketing агентства GoToTOP, складене з урахуванням ваших цілей і можливостей.

Відправляючи форму, ви погоджуєтеся на обробку персональних даних, захищених політикою конфіденційності та оброблюваних для виконання вашої заявки.