Back to Question Center
0

Semalt: Как заблокировать Darodar Robots.txt

1 answers:

Файл Robots.txt является типичным текстовым файлом, который содержит инструкции о том, как сканеры веб-сайтов или боты должны сканировать сайт. Их применение очевидно в поисковых системах , которые распространены на многочисленных оптимизированных веб-сайтах. Как часть протокола исключения роботов (REP), файл robots.txt формирует существенный аспект индексации содержимого веб-сайта, а также позволяет серверу аутентифицировать пользовательские запросы соответственно.

Юлия Вашанева Старший менеджер по успеваемости клиентов Семальт объясняет, что связывание является аспектом поисковой оптимизации (SEO), которая предполагает получение трафика из других доменов в вашей нише. Для «последующих» ссылок на передачу сока ссылок важно включить файл robots.txt на свой веб-сайт, чтобы выступать инструктором о том, как сервер взаимодействует с вашим сайтом. В этом архиве содержатся инструкции, разрешающие или запрещающие поведение определенных пользовательских агентов.

Основной формат файла robots.txt

Файл robots.txt содержит две основные строки:

Пользовательский агент: [имя пользователя-агента]

Запретить: [URL-строка, которая не должна сканироваться]

Полный файл robots.txt должен содержать эти две строки. Однако некоторые из них могут содержать несколько строк пользовательских агентов и директив. Эти команды могут содержать такие аспекты, как разрешения, запреты или задержки сканирования. Обычно существует разрыв строки, который разделяет каждый набор инструкций. Каждая из инструкций allow или disallow разделяется этим разрывом строки, особенно для файла robots.txt с несколькими строками.

Примеры

Например, файл robots.txt может содержать такие коды, как:

Пользователь-агент: darodar

Запретить: / плагин

Запретить: / API

Запретить: / _comments

В этом случае это файл robots.txt блока, ограничивающий поисковый робот Darodar от доступа к вашему веб-сайту. В приведенном выше синтаксисе код блокирует аспекты веб-сайта, такие как плагины, API и раздел комментариев. Из этих знаний можно добиться многочисленных преимуществ от эффективного выполнения текстового файла робота. Роботы. txt-файлы могут выполнять многочисленные функции. Например, они могут быть готовы:

1. Разрешить содержимое веб-сканеров на странице веб-сайта. Например,

Пользовательский агент: *

Disallow:

В этом случае доступ ко всему пользовательскому контенту может получить любой искатель веб-сайта, запрашиваемый для доступа к веб-сайту.

2. Заблокируйте определенный веб-контент из определенной папки. Например,

Пользовательский агент: Googlebot

Запретить: / example-subfolder /

Этот синтаксис, содержащий имя пользователя-агента Googlebot, принадлежит Google. Он ограничивает доступ бота к любой веб-странице в строке www.ourexample.com/example-subfolder/.

3. Заблокируйте определенный веб-искатель с определенной веб-страницы. Например,

Пользовательский агент: Bingbot

Запретить: /example-subfolder/blocked-page.html

Пользовательский агент Bing bot принадлежит веб-сканерам Bing. Этот тип файла robots.txt ограничивает поисковый робот Bing от доступа к определенной странице со строкой www.ourexample.com/example-subfolder/blocked-page.

Важная информация

  • Не каждый пользователь использует ваш файл robts.txt. Некоторые пользователи могут решить игнорировать его. Большинство таких веб-сканеров включают трояны и вредоносное ПО.
  • Чтобы файл Robots.txt был видимым, он должен быть доступен в каталоге веб-сайта верхнего уровня.
  • Символы «robots.txt» чувствительны к регистру. В результате вы не должны каким-либо образом изменять их, включая капитализацию некоторых аспектов.
  • «/robots.txt» является общедоступным. Любой может найти эту информацию, добавив ее в содержимое любого URL-адреса. Вы не должны индексировать важные детали или страницы, которые вы хотите, чтобы они оставались частными.
November 26, 2017
Semalt: Как заблокировать Darodar Robots.txt
Reply