#12-117. Настройки мета-тегов robots.txt. Правка

'#6. Тексты : texts';

'Library_ChapterController_actionUpdate_';

'#library_chapter_update_';

VirtualityCMS

Количество проиндексированных страниц уменьшается

Идентификатор ссылки (англ.)	vigbo-copy
Статус:	Активен

Описание

Идентификатор ссылки (англ.)	kolichestvo-proindeksirovannykh-stranits-umenshayetsya-03022
Статус:	Архив

Описание:

117. Настройки мета-тегов robots.txt. Правка

Архив

Экспресс-правка Разметка ред. Summernote ред. Quill ред. CKEditor ред. Trumbowyg ред. Imperavi ред. Jodit

Общая информация

Название

Том: Продвинутое техническое СЕО

ID Тома: 9

Статус: Активен
Глава: №5

ID Главы: 117

Статус: Архив
Время действия не указано

Всего знаков в главе: 37395

id (статус)	117 (2)
Идентификатор ссылки (англ.)	nastroyki-meta-tegov-robotstxt-97936
Сайт (ID сайта)	. #3
Смотреть на сайте	https://panel.seoforger/texts/prodvinutoye-tekhnicheskoye-seo/nastroyki-meta-tegov-robotstxt-97936/
Время последнего обновления	27-08-2025 в 11:38:16
Ссылка в БД	https://shopnseo.ru/texts/prodvinutoye-tekhnicheskoye-seo/nastroyki-meta-tegov-robotstxt-97936/
Картинка	https://static.shopnseo.ru/cache/6/117-nastroyki-meta-tegov-robotstxt-97936_col-12.webp

Полное название и описание

Полное название

Описание главы

Как правило описание должно иметь около 150 знаков. Оно используется для заполнения мета-тега Description веб-страницы.
Сейчас используется - 0 символов

Описание скопировано!

Описание вставлено!

Ключевое слово (главное):

Персонажи:

Метки:

Комментарии:

Примечания:

Полный текст < > & " ' « » – — … • · ← → ↑ ↓ ↔

Юридические: © ® ™

Валюты: € £ ¥ ¢

Типографика: § ¶ ° ± × ÷

Дроби: ½ ⅓ ⅔ ¼ ¾ ⅛ ⅜ ⅝ ⅞

Греческие: α β γ δ ε λ μ π σ ω Δ Σ Ω

Математические: ≈ ≠ ≤ ≥ ∞ √ ∑ ∫ ∂ ∇

автор: <a title="Go to Author Page" href="https://www.searchenginejournal.com/author/anna-crowe/">Anna Crowe</a>
Изучение того, как настроить файл robots.txt и мета-теги robots, является важным элементом успеха в техническом SEO. Это краткое руководство поможет вам правильно их реализовать.
Может быть, это только у меня, или слова "мета-теги robots" и "robots.txt" звучат как что-то, что сказал бы Шварценеггер в "Терминаторе 2"?
Именно поэтому я начал заниматься SEO &ndash; казалось, будущее, но в то время чрезмерно техническое для моих навыков.
Надеюсь, это руководство сделает настройку мета-тегов robots и файлов robots.txt менее вызывающей тошноту. Давайте начнем.
<h2>Meta Robots Tags против Robots.txt</h2>
Прежде чем мы погрузимся в основы того, что такое мета-теги robots и файлы robots.txt, важно знать, что нет одной стороны, которая лучше использовать в SEO.
Файлы robots.txt указывают краулерам, что следует краулить по всему сайту.
В то время как мета-теги robots углубляются в детали конкретной страницы.
Я предпочитаю использовать мета-теги robots для многих вещей, которые другие специалисты SEO могут считать слишком сложными в файле robots.txt.
Нет правильного или неправильного ответа. Это личное предпочтение на основе вашего опыта.
<h3>Что такое Robots.txt?</h3>
Файл robots.txt сообщает краулерам, что следует краулить.
Это часть протокола исключения краулеров (REP).
Googlebot &ndash; пример краулера.
Google разворачивает Googlebot для обхода веб-сайтов и записи информации о сайте для понимания того, как ранжировать сайт в результатах поиска Google.
Вы можете найти файл robots.txt любого сайта, добавив /robots.txt после веб-адреса, например, так:
www.mywebsite.com/robots.txt
Вот как выглядит базовый, свежий файл robots.txt:
<img class="img-fluid" src="https://static.shopnseo.ru/uploads/mceu_60983483521704897397689.webp" alt="базовый файл robots.txt" width="480" height="96" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
Звездочка * после user-agent говорит краулерам, что файл robots.txt предназначен для всех ботов, посещающих сайт.
Косая черта / после "Disallow" говорит роботу не переходить на любые страницы сайта.
Вот пример файла robots.txt от Moz.
<img class="img-fluid" src="https://static.shopnseo.ru/uploads/moz-robots-5e31a4a33399b-480x698.webp" alt="пример файла robots.txt от Moz." style="display: block; margin-left: auto; margin-right: auto;" loading="lazy"> Вы видите, что они сообщают краулерам, какие страницы краулить, используя user-agents и директивы. Я расскажу о них чуть позже.
<h3>Почему важен файл Robots.txt?</h3>
Я не могу сказать, сколько клиентов обращаются ко мне после миграции сайта или запуска нового сайта и спрашивают меня: Почему мой сайт не ранжируется после месяцев работы?
Я бы сказал, что 60% причина в том, что файл robots.txt не был правильно обновлен.
Это означает, что ваш файл robots.txt по-прежнему выглядит так:
<img class="img-fluid" src="https://static.shopnseo.ru/uploads/mceu_71651754131704897480117.webp" alt="Пример файла robots.txt" width="480" height="96" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
Это блокирует все веб-краулеры, посещающие ваш сайт.
Еще одна причина, по которой файл robots.txt важен, заключается в том, что у Google есть такая штука, как бюджет краула.
Google говорит:
<blockquote>
&laquo;Googlebot разработан так, чтобы быть хорошим гражданином веба. Краулинг &ndash; его главный приоритет, при этом он обеспечивает нормальное взаимодействие с пользователями, посещающими сайт. Мы называем это &laquo;лимитом скорости краула&raquo;, который ограничивает максимальную скорость получения данных для данного сайта.
Проще говоря, это представляет собой количество одновременных параллельных соединений, которые Googlebot может использовать для краулинга сайта, а также время ожидания между получениями данных&raquo;.
</blockquote>
Так что, если у вас большой сайт с низкокачественными страницами, которые вы не хотите, чтобы Google краулил, вы можете сказать Google &laquo;Запретить&raquo; их в вашем файле robots.txt.
Это освободит ваш бюджет краула, чтобы он краулил только высококачественные страницы, которые вы хотите, чтобы Google ранжировал для вас.
На данный момент нет четких и строгих правил для файлов robots.txt... пока.
Google объявил в июле 2019 года о предложении начать внедрение определенных стандартов, но пока что я придерживаюсь лучших практик, которые использовала в течение последних нескольких лет.
<h2>Основы Robots.txt</h2>
<h3>Как использовать Robots.txt</h3>
Использование robots.txt крайне важно для успешного SEO.
Однако непонимание его работы может заставить вас почесать затылок, пытаясь понять, почему вы не ранжируетесь.
Поисковые системы будут краулить и индексировать ваш сайт на основе того, что вы сообщите им в файле robots.txt с использованием директив и выражений.
Ниже приведены распространенные директивы robots.txt, которые вам следует знать:
<ul>
<li>User-agent: * &ndash; Это первая строка в вашем файле robots.txt, чтобы объяснить краулерам правила того, что вы хотите, чтобы они краулили на вашем сайте. Звездочка информирует всех пауков.</li>
<li>User-agent: Googlebot &ndash; Это говорит только о том, что вы хотите, чтобы краулер Google краулил.</li>
<li>Disallow: / &ndash; Это говорит всем краулерам не краулировать ваш весь сайт.</li>
<li>Disallow: &ndash; Это говорит всем краулерам краулировать ваш весь сайт.</li>
<li>Disallow: /staging/ &ndash; Это говорит всем краулерам игнорировать ваш тестовый сайт.</li>
<li>Disallow: /ebooks/* .pdf &ndash; Это говорит краулерам игнорировать все ваши форматы PDF, которые могут вызывать проблемы с дублированием контента.</li>
</ul>
<h3>User-agent: Googlebot</h3>
Disallow: /images/ &ndash; Это говорит только краулеру Googlebot игнорировать все изображения на вашем сайте.
* &ndash; Это рассматривается как шаблон, представляющий любую последовательность символов.
$ &ndash; Используется для сопоставления конца URL.
Для создания файла robots.txt я использую Yoast для WordPress. Он уже интегрируется с другими функциями SEO на моих сайтах.
Но прежде чем вы начнете создавать свой файл robots.txt, вот несколько основных моментов, которые стоит помнить:
Правильно форматируйте свой файл robots.txt. <a title="SEMrush" href="https://shopnseo.ru/texts/faq/rasskazhite-ob-instrumente-dlya-seo-semrush-38939" target="_blank" rel="noopener">SEMrush</a> приводит отличный пример того, как должен быть правильно отформатирован файл robots.txt. Вы видите, что структура следует следующему порядку: User-agent &rarr; Disallow &rarr; Allow &rarr; Host &rarr; Sitemap. Это позволяет паукам поисковых систем получать доступ к категориям и веб-страницам в правильном порядке.
<img class="img-fluid" src="https://static.shopnseo.ru/uploads/mceu_35104911941704897761046.webp" alt="пример как правильно отформатирован файл robots.txt" width="480" height="810" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
Убедитесь, что каждый URL, который вы хотите "Allow:" или "Disallow:", размещен на отдельной строке, как это делает Best Buy ниже. И не разделяйте пробелами. <img class="img-fluid" src="https://static.shopnseo.ru/uploads/webceo-robots-5e31b3b1209b8-480x200.webp" alt="пример файла robots.txt" width="480" height="200" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
Всегда используйте строчные буквы для названия вашего файла robots.txt, как это делает WebCEO. <img class="img-fluid" src="https://static.shopnseo.ru/uploads/webceo-robots-5e31b3b1209b8-768x321.webp" alt="пример файла robots.txt" width="768" height="321" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
<ul>
<li>Не используйте никакие специальные символы, кроме * и $. Другие символы не распознаются.</li>
<li>Создавайте отдельные файлы robots.txt для разных поддоменов. Например, "hubspot.com" и "blog.hubspot.com" имеют индивидуальные файлы и оба имеют разные файлы robots.txt.</li>
<li>Используйте # для комментариев в вашем файле robots.txt. Краулеры не уважают строки с символом #.</li>
<li>Если страница запрещена в файлах robots.txt, равновесие ссылок не передается.</li>
<li>Никогда не используйте robots.txt для защиты или блокировки конфиденциальных данных.</li>
</ul>
<h3>Что скрывать с помощью Robots.txt</h3>
Файлы robots.txt часто используются для исключения определенных каталогов, категорий или страниц из SERP.
Вы можете исключить, используя директиву "disallow".
Вот несколько обычных страниц, которые я скрываю с использованием файла robots.txt:
<ul>
<li>Страницы с дублирующимся контентом (часто контент для печати)</li>
<li>Страницы пагинации</li>
<li>Динамические страницы продуктов и услуг</li>
<li>Страницы учетной записи</li>
<li>Страницы администратора</li>
<li>Корзина для покупок</li>
<li>Чаты</li>
<li>Страницы благодарности</li>
</ul>
Это особенно полезно для электронной коммерции с использованием параметров, как это делает Macy's.
<img class="img-fluid" src="https://static.shopnseo.ru/uploads/mceu_4972568021704900923169.webp" alt="пример файла robots.txt" width="900" height="600" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
И вы можете видеть здесь, как я запретил страницу благодарности. <img class="img-fluid" src="https://static.shopnseo.ru/uploads/leadfeeder-sitemap-5e31b5248237b-768x154.webp" alt="пример файла robots.txt" width="768" height="154" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
Важно знать, что не все краулеры будут следовать вашему файлу robots.txt.
Плохие боты могут полностью игнорировать ваш файл robots.txt, поэтому убедитесь, что на заблокированных страницах нет конфиденциальных данных.
<h3>Общие ошибки в файле robots.txt</h3>
После управления файлами robots.txt более 10 лет я вижу несколько общих ошибок:
<h4>Ошибка №1: Верхний регистр в имени файла</h4>
Возможное имя файла &ndash; robots.txt, а не Robots.txt или ROBOTS.TXT.
Следуйте строчным буквам, всегда, когда речь идет о SEO.
<h4>Ошибка №2: Не помещение файла robots.txt в главный каталог</h4>
Если вы хотите, чтобы ваш файл robots.txt был найден, вы должны поместить его в главный каталог вашего сайта.
Неправильно
<code>www.mysite.com/tshirts/robots.txt</code>
Правильно
<code>www.mysite.com/robots.txt</code>
<h4>Ошибка №3: Неправильно отформатированный User-Agent</h4>
 Неправильно
<code>Disallow: Googlebot</code>
Правильно
<code>User-agent: Googlebot</code>
<code>Disallow: /</code>
<h4>Ошибка №4: Упоминание нескольких каталогов в одной строке 'Disallow'</h4>
Неправильно
<code>Disallow: /css/ /cgi-bin/ /images/</code>
Правильно
<code>Disallow: /css/</code>
<code>Disallow: /cgi-bin/</code>
<code>Disallow: /images/</code>
<h4>Ошибка №5: Пустая строка в 'User-Agent'</h4>
Неправильно
<code>User-agent:</code>
<code>Disallow:</code>
Правильно
<code>User-agent: *</code>
<code>Disallow:</code>
<h4>Ошибка №6: Зеркальные веб-сайты и URL-адреса в директиве Host</h4>
Будьте внимательны при упоминании директив 'host', чтобы поисковые системы правильно вас понимали:
Неправильно
<code>User-agent: Googlebot</code>
<code>Disallow: /cgi-bin</code>
Правильно
<code>User-agent: Googlebot</code>
<code>Disallow: /cgi-bin</code>
<code>Host: www.site.com</code>
Если ваш сайт имеет https, правильный вариант:
<code>User-agent: Googlebot</code>
<code>Disallow: /cgi-bin</code>
<code>Host: https://www.site.com</code>
<h4>Ошибка №7: Перечисление всех файлов внутри каталога</h4>
Неправильно
<code>User-agent: *</code>
<code>Disallow: /pajamas/flannel.html</code>
<code>Disallow: /pajamas/corduroy.html</code>
<code>Disallow: /pajamas/cashmere.html</code>
Правильно
User-agent: *
<code>Disallow: /pajamas/</code>
<code>Disallow: /shirts/</code>
<h4>Ошибка №8: Отсутствие инструкций Disallow</h4>
Инструкции Disallow необходимы, чтобы поисковые боты понимали вашу цель.
Неправильно
<code>User-agent: Googlebot</code>
<code>Host: www.mysite.com</code>
Правильно
<code>User-agent: Googlebot</code>
<code>Disallow:</code>
<code>Host: www.mysite.com</code>
<h4>Ошибка №9: Блокировка всего сайта</h4>
Неправильно
<code>User-agent: Googlebot</code>
<code>Disallow: /</code>
Правильно
<code>User-agent: Googlebot</code>
<code>Disallow:</code>
<h4>Ошибка №10: Использование различных директив в разделе *</h4>
Неправильно
<code>User-agent: *</code>
<code>Disallow: /css/</code>
<code>Host: www.example.com</code>
Правильно
<code>User-agent: *</code>
<code>Disallow: /css/</code>
<h4>Ошибка №11: Неверный HTTP-заголовок</h4>
Неправильно
<code>Content-Type: text/html</code>
Правильно
<code>Content-Type: text/plain</code>
<h4>Ошибка №12: Отсутствие Sitemap</h4>
Всегда размещайте свои карты сайта внизу вашего файла robots.txt.
Неправильно
<img class="img-fluid" src="https://static.shopnseo.ru/uploads/mceu_23442118231704901411297.webp" alt="пример файла robots.txt" width="294" height="156" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
Правильно
<img class="img-fluid" src="https://static.shopnseo.ru/uploads/robots-correct-sitemap-5e31b5920f8b4-480x126.webp" alt="пример файла robots.txt" width="480" height="126" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
<h4>Ошибка №13: Использование noindex</h4>
Google объявил в 2019 году, что больше не будет учитывать директиву noindex, используемую в файлах robots.txt.
Так что вместо этого используйте мета-теги robots, о которых я расскажу ниже.
Неправильно
<code>noindex thank you robots</code>
Правильно
<code>robots thank you</code>
<h4>Ошибка №14: Запрещение страницы в файле robots.txt, но при этом создание ссылок на нее</h4>
Если вы запретили страницу в файле robots.txt, Google все равно будет индексировать эту страницу, если у вас есть внутренние ссылки на нее.
Вам нужно удалить эти ссылки, чтобы пауки полностью прекратили индексацию этой страницы.
Если вы когда-либо сомневаетесь, вы можете проверить, какие страницы индексируются, в отчете о покрытии Google Search Console.
Вы должны увидеть что-то вроде этого:
<img class="img-fluid" src="https://static.shopnseo.ru/uploads/robots-google-search-console-5e31b5f56f430-768x376.webp" alt="Google Search Console" width="768" height="376" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
А также вы можете использовать <a href="https://www.google.com/webmasters/tools/robots-testing-tool?siteUrl=https://www.leadfeeder.com/">инструмент проверки robots.txt</a> от Google.
Однако, если вы используете инструмент проверки наличия мобильной версии от Google, он не будет следовать вашим правилам в файле robots.txt.
Мета-теги Robots (также называемые директивами мета-тегов robots) &ndash; это фрагменты HTML-кода, которые сообщают поисковым роботам, как индексировать страницы на вашем веб-сайте.
<h2>Что такое мета-теги robots?</h2>
Мета-теги robots добавляются в раздел &lt;head&gt; веб-страницы. Вот пример:
<code>&lt;meta name="robots" content="noindex" /&gt;</code>
Мета-теги robots состоят из двух частей.
Первая часть тега &ndash; name='''.
Здесь вы идентифицируете user-agent. Например, "Googlebot".
Вторая часть тега &ndash; content=''.
Здесь вы сообщаете ботам, что вы хотите, чтобы они делали.
<h3>Типы мета-тегов robots</h3>
Мета-теги robots имеют два типа тегов:
<ul>
<li>Мета-тег robots.</li>
<li>X-robots-tag.</li>
</ul>
<h4>Тип 1: Мета-тег Robots</h4>
Мета-теги robots часто используются маркетологами SEO. Он позволяет вам сообщать user-agent'ам (думайте о Googlebot) об индексации конкретных областей. Вот пример:
<code>&lt;meta name="googlebot" content="noindex, nofollow"&gt;</code>
Этот мета-тег robots говорит краулеру Google, Googlebot, не индексировать страницу в поисковых системах и не следовать по обратным ссылкам. Таким образом, эта страница не будет частью SERPs. Я бы использовал этот мета-тег robots для страницы благодарности после загрузки электронной книги.
<img class="img-fluid" src="https://static.shopnseo.ru/uploads/mceu_52486526841704901967353.webp" alt="мета-тег robots для страницы благодарности" width="768" height="421" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
Теперь, если вы посмотрите на код страницы, вы увидите, что там указаны noindex и nofollow.
<img class="img-fluid" src="https://static.shopnseo.ru/uploads/mceu_27041459451704902055061.webp" alt="код страницы" width="768" height="335" style="display: block; margin-left: auto; margin-right: auto;" loading="lazy">
Если вы используете различные директивы мета-тегов Robots для различных пользовательских агентов поиска, вам придется использовать отдельные теги для каждого бота.
Крайне важно не размещать мета-теги Robots за пределами раздела &lt;head&gt;.
<h4>Тип 2: X-robots-tag</h4>
x-robots-tag позволяет делать то же самое, что и мета-теги robots, но в заголовках HTTP-ответа. По сути, это предоставляет больше функциональности, чем мета-теги robots. Однако для этого вам понадобится доступ к файлам .php, .htaccess или сервера.
Например, если вы хотите заблокировать изображение или видео, но не всю страницу, вы бы использовали x-robots-tag вместо этого.
<h3>Параметры мета-тегов robots</h3>
Есть много способов использования директив мета-тегов robots в коде. Но сначала вам нужно понять, что это за директивы и что они делают. Вот разбор директив мета-тегов robots:
<ul>
<li>all &ndash; Нет ограничений для индексации и содержимого. Эта директива используется по умолчанию. Она не влияет на работу поисковых систем. Я использовал ее как ярлык для index, follow.</li>
<li>index &ndash; Позволяет поисковым системам индексировать эту страницу в их результатах поиска. Это значение по умолчанию. Вам не нужно добавлять его на свои страницы.</li>
<li>noindex &ndash; Удаляет страницу из индекса и результатов поиска. Это означает, что пользователи не найдут ваш сайт или перейдут по ссылке.</li>
<li>follow &ndash; Позволяет поисковым системам следовать за внутренними и внешними обратными ссылками на этой странице.</li>
<li>nofollow &ndash; Не разрешать следовать за внутренними и внешними обратными ссылками. Это означает, что эти ссылки не передадут вес ссылок.</li>
<li>none &ndash; То же, что и мета-теги noindex и nofollow.</li>
<li>noarchive &ndash; Не показывать ссылку "Сохраненная копия" в SERPs.</li>
<li>nosnippet &ndash; Не показывать расширенную версию описания этой страницы в SERPs.</li>
<li>notranslate &ndash; Не предлагать перевод этой страницы в SERPs.</li>
<li>noimageindex &ndash; Не индексировать изображения на странице.</li>
<li>unavailable_after: [RFC-850 date/time] &ndash; Не показывать эту страницу в SERPs после указанной даты/времени. Используйте формат RFC 850.</li>
<li>max-snippet &ndash; Устанавливает максимальное количество символов в мета-описании.</li>
<li>max-video-preview &ndash; Устанавливает количество секунд, в течение которых будет предварительный просмотр видео.</li>
<li>max-image-preview &ndash; Устанавливает максимальный размер предварительного просмотра изображения.</li>
</ul>
Иногда разные поисковые системы принимают разные параметры мета-тегов. Вот их разбивка:
<table>
<tbody>
<tr>
<td>Value</td>
<td>Google</td>
<td>Bing</td>
<td>Yandex</td>
</tr>
<tr>
<td>index</td>
<td>Yes</td>
<td>Yes</td>
<td>Yes</td>
</tr>
<tr>
<td>noindex</td>
<td>Yes</td>
<td>Yes</td>
<td>Yes</td>
</tr>
<tr>
<td>none</td>
<td>Yes</td>
<td>Doubt</td>
<td>Yes</td>
</tr>
<tr>
<td>noimageindex</td>
<td>Yes</td>
<td>No</td>
<td>No</td>
</tr>
<tr>
<td>follow</td>
<td>Yes</td>
<td>Doubt</td>
<td>Yes</td>
</tr>
<tr>
<td>nofollow</td>
<td>Yes</td>
<td>Yes</td>
<td>Yes</td>
</tr>
<tr>
<td>noarchive</td>
<td>Yes</td>
<td>Yes</td>
<td>Yes</td>
</tr>
<tr>
<td>nosnippet</td>
<td>Yes</td>
<td>No</td>
<td>No</td>
</tr>
<tr>
<td>notranslate</td>
<td>Yes</td>
<td>No</td>
<td>No</td>
</tr>
<tr>
<td>unavailable_after</td>
<td>Yes</td>
<td>No</td>
<td>No</td>
</tr>
</tbody>
</table>
<h2>Как использовать мета-теги Robots</h2>
Если у вас есть веб-сайт на WordPress, у вас есть множество вариантов плагинов для настройки ваших мета-тегов Robots. Я предпочитаю использовать Yoast. Это всё-в-одном плагин SEO для WordPress, предоставляющий множество функций. Тем не менее, существуют также плагины Meta Tags Manager и GA Meta Tags.
Для пользователей Joomla я рекомендую EFSEO и Tag Meta.
Вне зависимости от того, на чем построен ваш сайт, вот три совета по использованию мета-тегов Robots:
<ol>
<li>Сохраняйте регистр. Поисковые системы распознают атрибуты, значения и параметры как в верхнем, так и в нижнем регистре. Я рекомендую придерживаться нижнего регистра для улучшения читаемости кода. Кроме того, если вы SEO-специалист, лучше приучить себя использовать нижний регистр.</li>
<li>Избегайте множественных тегов &lt;meta&gt;. Использование нескольких мета-тегов вызовет конфликты в коде. Используйте несколько значений в вашем теге &lt;meta&gt;, например, так: &lt;meta name="robots" content="noindex, nofollow"&gt;.</li>
<li>Не используйте противоречащие мета-теги, чтобы избежать ошибок индексации. Например, если у вас есть несколько строк кода с мета-тегами, такими как &lt;meta name="robots" content="follow"&gt; и &lt;meta name="robots" content="nofollow"&gt;, будет учтено только "nofollow". Это происходит потому, что роботы первыми применяют ограничительные значения.</li>
</ol>
<h3>Файл Robots.txt и Мета-теги Robots работают вместе</h3>
Одна из самых распространенных ошибок, которую я вижу при работе с веб-сайтами своих клиентов, &ndash; это несоответствие файла robots.txt тому, что указано в мета-тегах Robots.
Например, файл robots.txt скрывает страницу от индексации, но мета-теги Robots делают обратное.
Помните пример от Leadfeeder, который я показала выше?
Таким образом, вы заметите, что эта страница благодарности запрещена в файле robots.txt и использует мета-теги Robots noindex, nofollow.
По моему опыту, Google придает приоритет тому, что запрещено в файле robots.txt.
Однако вы можете избежать несоответствия мета-тегов Robots и robots.txt, четко сообщив поисковым системам, какие страницы следует индексировать, а какие нет.
<h2>Заключение</h2>
Если вы все еще вспоминаете дни, когда покупка фильма в Blockbuster в торговом центре казалась актуальной, то использование robots.txt или мета-тегов может показаться вам сложным.
Но если вы уже насладились просмотром "Странных вещей", добро пожаловать в будущее.
Надеюсь, этот руководство предоставило вам больше информации о основах robots.txt и мета-тегов. Если после прочтения этого поста вы надеялись на роботов на реактивных ранцах и путешествие во времени, мне жаль.

Скопировано в буфер!

Вставлено из буфера!

Карточка текста Карточки текста

Тема

Персонажи

Изменить дату действия. 18/02/2026

Выбрать дату

Время: 00:07 .

Идея текста

Сюжет

План действий

Заметки

Редакторские правки

Персонажи

Идея текста

Сюжет

План действий

Заметки

Дополнительные поля
Дополнительные поля отсутствуют

117. Настройки мета-тегов robots.txt. Правка

Редактировать комментарии, примечания, метки и персонажи

Дополнительные символы

Настройки мета-тегов robots.txt