Как роботы «видят» мир? Как перейти на новую версию Search Console Нет используемых роботом файлов Sitemap
Продвижение вашего сайта должно включать оптимизацию страниц, чтобы привлечь внимание поисковых пауков. До того, как вы начнете создавать веб сайт дружественный поисковым машинам, вы должны знать, как боты видят ваш сайт.
Поисковые машины на самом деле не пауки, а небольшие программы, которые посылаются для анализа вашего сайта после того, как они узнают урл вашей страницы. Поисковики, так же могут добраться до вашего сайта через ссылки на ваш вебсайт, оставленные на других интернет ресурсах.
Как только робот доберется до вашего веб сайта, то сразу же начнет индексировать страницы, читая содержимое тега BODY. Он так же полностью читает все HTML теги и ссылки на другие сайты.
Затем, поисковые машины копируют содержимое сайта в главную базу данных для последующего индексирования. Этот процесс в целом может занять до трех месяцев.
Поисковая оптимизация не такое уж легкое дело. Вы должны создать сайт дружественный поисковым паукам. Боты не обращают внимание на флеш вебдизайн, они только хотят получить информацию. Если на вебсайт посмотреть глазами поискового робота, он бы имел довольно глупый вид.
Еще интересней посмотреть глазами паука на сайты конкурентов. Конкурентов не только в вашей области, но просто популярные ресурсы, которым возможно не нужна ни какая поисковая оптимизация. Вообще, очень интересно посмотреть, как выглядят разные сайты глазами роботов.
Только текст
Поисковые роботы видят ваш сайт в большей степени, как это делают текстовые браузеры. Они любят текст и игнорируют информацию, содержащуюся в картинках. Пауки могут прочитать о картинке, если вы не забудете добавить тег ALT с описанием. Вызывают глубокое разочарование веб дизайнеры, создающие сложные сайты с красивыми картинками и с очень малым содержанием текста.
На самом деле, поисковики просто обожают любой текст. Они могут читать только HTML код. Если у вас на странице много форм или яваскрипта или чего-нибудь еще, что может блокировать поисковую машину для чтения HTML кода, паук просто будет игнорировать ее.
Что поисковые роботы хотят видеть
Когда поисковая машина сканирует вашу страницу, она ищет ряд важных вещей. Заархивировав ваш сайт, поисковый робот начнет ранжировать его в соответствии со своим алгоритмом.
Поисковые пауки охраняют и часто изменяют свои алгоритмы, что бы спамеры не могли приспособиться под них. Очень тяжело спроектировать сайт, который займет высокие позиции во всех поисковых машинах, но вы можете получить некоторое преимущество, включив следующие элементы во все ваши веб страницы:
- Ключевые слова
- META теги
- Заглавия
- Ссылки
- Выделенный текст
Читайте как поисковая машина
После того как вы разработали сайт, вам остается его развивать и продвигать в поисковых машинах. Но смотреть на сайт только в браузер не является лучшей и успешной техникой. Не очень-то легко оценить свой труд непредвзято.
Гораздо лучше взглянуть на ваше творение глазами поискового симулятора . В этом случае вы получите гораздо больше информации о страницах и о том, как их видит паук.
Мы создали не плохой, по нашему скромному мнению, имитатор поисковых машин . Вы сможете увидеть веб страницу, как ее видит поисковый паук. Также будет показано количество введенных вами ключевых слов, локальные и исходящие ссылки и так далее.
Руководство по переходу для пользователей старой версии
Мы разрабатываем новую версию Search Console, которая со временем заменит старый сервис. В этом руководстве мы расскажем об основных различиях между старой и новой версиями.
Общие изменения
В новой версии Search Console мы реализовали следующие улучшения:
- Данные о поисковом трафике можно просматривать за 16 месяцев вместо прежних трех.
- Теперь в Search Console представлены подробные сведения о конкретных страницах. К этой информации относятся канонические URL, статус индексирования, степень оптимизации для мобильных устройств и т. д.
- В новой версии реализованы инструменты, которые позволяют отслеживать сканирование ваших веб-страниц, исправлять связанные с этим ошибки и отправлять запросы на повторное индексирование.
- В обновленном сервисе доступны как совершенно новые инструменты и отчеты, так и улучшенные старые. Все они описаны ниже.
- Возможно использование сервиса на мобильных устройствах.
Сравнение инструментов и отчетов
Мы непрерывно работаем над модернизацией различных инструментов и отчетов Search Console, и многие из них вы уже можете использовать в обновленной версии этого сервиса. Ниже новые варианты отчетов и инструментов сравниваются со старыми. Список будет пополняться.
Старая версия отчета | Аналог в новой версии Search Console | Сравнение | ||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Анализ поисковых запросов | В новом отчете представлены данные за 16 месяцев, а работать с ним стало удобнее. | |||||||||||||
Полезные подсказки | Отчеты о статусе расширенных результатов | Новые отчеты содержат подробную информацию, которая помогает в устранении ошибок, и позволяют с легкостью отправлять запросы на повторное сканирование. | ||||||||||||
Ссылки на ваш сайт Внутренние ссылки |
Ссылки | Мы объединили два старых отчета в один новый и повысили точность подсчета ссылок. | ||||||||||||
Статус индексирования | Отчет об индексировании | В новом отчете есть все данные из старого, а также подробная информация о статусе в индексе Google. | ||||||||||||
Отчет по файлам Sitemap | Отчет по файлам Sitemap | Данные в отчете остались прежними, но мы улучшили его оформление. Старый отчет поддерживает тестирование файла Sitemap без его отправки, а новый – нет. | ||||||||||||
Ускоренные мобильные страницы (AMP) | Отчет о статусе AMP-страниц | В новом отчете добавлены новые типы ошибок, по которым можно просматривать сведения, а также реализована отправка запроса на повторное сканирование. | ||||||||||||
Меры, принятые вручную | Меры, принятые вручную | В новом варианте отчета приводится история мер, принятых вручную, включая сведения об отправленных запросах на проверку и результатах проверок. | ||||||||||||
Сканер Google для сайтов | Инструмент проверки URL | В инструменте проверки URL можно посмотреть информацию о версии URL, включенной в индекс, и версии, доступной онлайн, а также отправить запрос на сканирование. Добавлены сведения о канонических URL, блокировках noindex и nocrawl и наличии URL в индексе Google. | ||||||||||||
Удобство просмотра на мобильных устройствах | Удобство просмотра на мобильных устройствах | Данные в отчете остались прежними, но работать с ним стало более удобно. Также мы добавили возможность запросить повторное сканирование страницы после того, как на ней будут исправлены проблемы с просмотром на мобильных устройствах. | ||||||||||||
Отчет об ошибках сканирования | Отчет об индексировании и инструмент проверки URL |
Ошибки сканирования на уровне сайта показаны в новом отчете об индексировании. Чтобы найти ошибки на уровне отдельных страниц, воспользуйтесь новым инструментом проверки URL. Новые отчеты помогают вам определять приоритеты неполадок и группировать страницы с похожими проблемами, чтобы выявлять общие причины. Старый отчет показывал все ошибки за последние три месяца, включая неактуальные, временные и несущественные. Новый отчет выделяет важные для Google проблемы, обнаруженные за последний месяц. Вы увидите только те проблемы, которые могут привести к удалению страницы из индекса или препятствуют ее индексированию. Проблемы показываются в зависимости от приоритетов. Например, ошибки 404 обозначены как ошибки, только если вы запрашивали индексирование страницы через файл Sitemap или другим способом. Благодаря этим изменениям вы сможете больше внимания уделять проблемам, от которых зависит положение вашего сайта в индексе Google, а не разбираться со списком всех ошибок, которые робот Googlebot когда-либо обнаруживал на вашем сайте. В новом отчете об индексировании следующие ошибки были преобразованы или более не показываются: Ошибки URL – для пользователей компьютеров
Ошибки URL – для пользователей смартфоновВ настоящее время ошибки, возникающие на смартфонах, не показываются, но мы надеемся в будущем включить в отчет и их. Ошибки сайтаВ новой версии Search Console ошибки сайта не показываются. |
||||||||||||
Отчет о проблемах безопасности | Новый отчет о проблемах безопасности | В новом отчете о проблемах безопасности сохранена большая часть функций старого отчета и добавлена история неполадок на сайте. | ||||||||||||
Структурированные данные | Инструмент проверки расширенных результатов и отчеты о статусе расширенных результатов | Для обработки отдельных URL используйте инструмент проверки расширенных результатов или инструмент проверки URL. Сведения по всему сайту можно найти в отчетах о статусе расширенных результатов для вашего сайта. Пока представлены ещё не все типы данных для расширенных результатов, но число отчетов постоянно растет. | ||||||||||||
Оптимизация HTML | – | Аналогичного отчета в новой версии нет. Чтобы создавать информативные заголовки и описания страниц, следуйте нашим рекомендациям . | ||||||||||||
Заблокированные ресурсы | Инструмент проверки URL | Возможности просмотреть заблокированные ресурсы по всему сайту нет, но с помощью инструмента проверки URL можно увидеть заблокированные ресурсы для каждой отдельной страницы. | ||||||||||||
Приложения Android | – | С марта 2019 г. Search Console перестанет поддерживать приложения Android. | ||||||||||||
Наборы ресурсов | – | С марта 2019 г. Search Console перестанет поддерживать наборы ресурсов. |
Не указывайте одни и те же данные дважды. Данные и запросы, содержащиеся в одной версии Search Console, автоматически дублируются и в другой. Например, если вы отправили запрос на повторную проверку или файл Sitemap в старом сервисе Search Console, не нужно отправлять его ещё раз в новом.
Новые способы выполнения привычных задач
В новой версии Search Console по-другому выполняются некоторые прежние операции. Ниже перечислены основные изменения.
Функции, которые в настоящее время не поддерживаются
Перечисленные ниже функции пока не реализованы в новой версии Search Console. Чтобы воспользоваться ими, вернитесь к прежнему интерфейсу.
- Статистика сканирования (число просканированных за день страниц, время их загрузки, количество скачанных за день килобайт).
- Проверка файла robots.txt.
- Управление параметрами URL в Google Поиске.
- Инструмент "Маркер".
- Чтение сообщений и управление ими.
- Инструмент "Изменение адреса".
- Указание основного домена.
- Связывание ресурса Search Console с ресурсом Google Аналитики.
- Отклонение ссылок.
- Удаление устаревших данных из индекса.
Эта информация оказалась полезной?
Как можно улучшить эту статью?
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Роботы-краулеры - это своего рода автономные программы-браузеры. Они заходят на сайт, сканируют содержимое страниц, делают текстовую копию и отправляют в поисковую базу. От того что увидят краулеры на вашем сайте зависит его индексация в поисковике. Есть также более узкопрофильные программы-пауки.
- «Зеркальщики» - распознают повторяющиеся ресурсы.
- «Дятлы» - определяют доступность сайта.
- « » - роботы для считывания часто обновляемых ресурсов. А также программы для сканирования картинок, иконок, определения частоты визитов и других характеристик.
Что робот видит на сайте
- Текст ресурса.
- Внутренние и внешние ссылки.
- HTML-код страницы.
- Ответ сервера.
- Файл robots. txt - это основной документ для работы с пауком. В нем вы можете задать одни параметры для привлечения внимания робота, а другие наоборот закрыть от просмотра. Также при повторном заходе на сайт, краулер пользуется именно эти файлом.
В какой форме робот видит страницу сайта?
Есть несколько способов посмотреть на ресурс глазами программы. Если вы являетесь владельцем сайта, то для вас Google придумал Search Console.
- Добавляем ресурс на сервис. Как это можно сделать читайте .
- После этого выбираем инструмент «Просмотреть как Googlebot ».
- Нажимаем «Получить и отобразить».После выполнения сканирования будет вот такой результат.
Этот способ отображает самую полную и верную картину того, как робот видит сайт. Если же вы не являетесь владельцем ресурса то, для вас есть другие варианты.
Самый простой - через сохраненную копию в поисковой системе.
Предположим, что ресурс ещё не проиндексирован, и вы не можете найти его в поисковике. В таком случае, чтобы узнать, как робот видит сайт, нужно выполнить следующий алгоритм.
- Устанавливаем Mozila Firefox .
- Добавляем в этот браузер плагин .
- Под полем URL появится бар, в котором мы:
в «Cookies» выбираем «Disable Cookies»;
в «Disable» кликаем на «Disable JavaScript» и «Disable ALL JavaScript». - Обязательно перезагружаем страницу.
- Все в том же инструменте:
в «CSS» жмем на «Disable styles» и «Disable all styles»;
и в «Images» ставим галочку на «Display ALT attributes» и «Disable ALL images». Готово!
Зачем нужно проверять то, как робот видит сайт?
Когда поисковик видит на вашем сайте одну информацию, а пользователь другую - значит, ресурс появляется не в той выдаче. Соответственно, пользователь спешно покинет его, не найдя интересующей его информации. Если так будет делать большое количество посетителей, то ваш сайт опустится на самое дно выдачи.
Проверять нужно минимум 15−20 страниц сайта и стараться охватывать все типы страниц.
Бывает, что некоторые хитрецы специально проворачивают такие аферы. Ну, например, вместо сайта о мягких игрушках пиарят какое-нибудь казино «Кукан». Поисковик со временем это (в любом случае) обнаружит и отправит такой ресурс под фильтры.