Look-films онлайн кинотеатр

Описание

Не скучные видео уроки от Павла И Антона поиск пригласить выйти (1403) ред. Моя Страница . Мои Друзья Мои Фотографии Мои Видеозаписи Мои Аудиозаписи Мои Сообщения (1403) Мои Заметки Мои Группы (11) Мои Встречи (122) Мои Новости Мои Закладки Мои Желания Мои Настройки Приложения (46) Объявления Реклама Тюряга false Поиск по композициям и исполнителям Добавить аудиозапись . У Вас 279 аудиозаписей|Редактирование 13:26Приколы по телефону - Бабка Валя Robots.txt Чаво по веб-роботамСтандарт исключения роботовРоботы РунетаЧастые ошибки в robots.txtСсылки по темеПро robots.txt ЧаВо Стандарт исключения роботов Стандарт исключений для роботов Средства, не предусмотренные стандартом Руководство по использованию robots.txt Мета-тег Robots Роботы рунета Роботы Яндекса Роботы Google Роботы Рамблера Роботы Bing Роботы Yahoo! (Яху!) Роботы Апорта Роботы Вебальты Роботы Черепахи Частые ошибки в robots.txt Ссылки -------------------------------------------------------------------------------- Роботы ЯндексаПоделиться Виды роботов Яндекса (www.yandex.ru) IP-адреса роботов Яндекса Директива Host HTML-тег Ссылки по теме Виды роботов Яндекса (www.yandex.ru) Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons) Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL» Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова» YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам. YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей. Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр. IP-адреса роботов Яндекса IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов не разглашается. Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе. Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге. Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом. Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается. Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером. Директива Host Во избежания возникновения проблем с зеркаломами сайта рекомендуется использовать директиву «Host». Директива «Host» указывает роботу Яндекса на главное зеркало данного сайта. С директивой «Disallow» никак не связана. User-agent: Yandex Disallow: /cgi-bin Host: www.site.ru либо User-agent: Yandex Disallow: /cgi-bin Host: site.ru в зависимости от того что для вас оптимальнее. Вот цитата из ЧаВо Яндекса: