В ході пошукової оптимізації сайту для контролю індексації сторінок роботами використовують тег noindex і атрибут nofollow.
Noindex
Тег noindex введений пошуковою системою Яндекс. Він призначений для закриття від індексації роботами посилання або частини html коду на сторінці. Має наступну структуру:
<noindex> посилання або частина коду, які необхідно приховати, </noindex>
Даний тег не чутливий до вкладеності і може бути розміщений в будь-якій частині коду. Пошукові машини, крім Яндекса, сприймають команду в якості невалидность. Якщо валідність коду важлива, тег оформляється наступним чином:
<! - noindex -> текст <! - / noindex ->
Функції
Тег noindex дозволяє:
- підвищити релевантність сторінки пошуковим запитам за рахунок зменшення частки другорядної інформації і збільшення щільності ключових слів,
- приховати дублюючийся контент, за використання якого може послідувати песимізація сайту у видачі Яндекса,
- зберігати статичну вагу сторінок і управляти його передачею, так як закриття одних посилань пропорційно збільшує віц залишилися,
- поліпшити сниппет. Якщо в ході розкрутки сайту в його текстовий опис у видачі потрапляє непотрібна інформація зі сторінки, її закривають від індексації,
- приховати від роботів зайві дані (коди лічильників, посилання на сайти з постійно змінюється інформацією і т.д.).
Nofollow
Атрибут nofollow не впливає на індексацію посилань, але повідомляє пошуковим роботам, що вага даного линка дорівнює нулю. При просуванні сайту це дозволяє зберегти його PR і тИЦ, які на вказану статтю не передаються. Пошукові боти (крім googlebot) за посиланням переходять. Атрибут підтримують Google, Yahoo і Яндекс (з 30 квітня 2010 року). Структура написання параметра наступна:
<a href="http://example.ua" rel="nofollow">анкор посилання</a> Атрибут nofollow використовують для посилань на всі сайти, яким не потрібно передавати TrustRank ресурсу-донора. Для внутрішньої перелинковки прийом не застосовується.
Noindex і nofollow дозволяють закрити від індексацію не тільки окрему посилання, але і всю сторінку (прописуються всередині неї або в файлі robots.txt):
<meta name="robot" content="noindex, nofollow">
або
<html>
<head>
<meta content="nofollow" />
<title>Заголовок даної сторінки</ title>
</head>
Nofollow і noindex можуть використовуватися спільно:
<noindex> <a rel="nofollow" href="http://example.ua">анкор посилання</a></noindex>.
В такому випадку пошуковий робот Google посилання проігнорує, а Яндекса не побачить.