Руководство по поисковой оптимизации для начинающих

Под оптимизацией понимается разовый набор работ, который поможет в дальнейшем продвижении ресурса в поисковых системах. Он включает в себя несколько шагов: определение целей мероприятия, бизнес-задач клиента, технический аудит сайта, сбор семантического ядра, подготовка и выкладка контента, установка и настройка счетчиков и другие действия. В разделе для вебмастеров Яндекса и Гугла можно ознакомиться с руководством по поисковой оптимизации сайта. Прочитать его необходимо, чтобы быть в курсе тех требований, которые эти компании предъявляют к проектам. В зависимости от этого можно составлять стратегию продвижения: ресурсы для западного и отечественного рынка стоит развивать по-разному.

Занимаясь поисковой оптимизацией, учитесь использовать естественный язык, подобный тому, что мы используем в повседневной речи. Делайте так, чтобы он был интересен пользователям, и понятен поисковым роботам — это и есть основы SEO.

  • Основы SEO: TITLE, description, H1
  • Структурирование данных в поисковой оптимизации
  • Визуальная информация и поведенческие факторы
  • Основа копирайтинга

Три ключевые основы SEO

Для генерации данных сниппета, используйте SEO-инструмент предварительного просмотра.

1. Указывайте ключевые слова в начале TITLE. Именно они получают наибольший вес при ранжировании, подобно череде указателей по содержанию документа — от главного до вторичного.

Основы SEO и ключевые слова в TITLE

2. Используйте точное вхождение ключевых слов в мета-теге description. Это обеспечит их подсветку в сниппете и повысит кликабельность ссылки в выдаче. Учтите, что наличие description — хороший пользовательский опыт и это идёт в плюс траста (англ trust — доверие) для сайта.

3. Помещайте заголовок веб-страницы в тег H1. Старайтесь, чтобы на одной веб-странице был один тег H1. В этом случае он получит больший вес для поисковых систем. Заголовок H1 может отличаться от строки в TITLE, но строится по тому же принципу.

Примечание: убедитесь, что у каждой веб-страницы уникальные: TITLE, description и H1 — это 90% основы SEO.

Структурирование данных в поисковой оптимизации

Для анализа сайта и контента используйте SEO-инструменты PR-CY.ru.

4. Помещайте ключевое слово хотя бы в один из подзаголовков H2, H3 и т. д. Не злоупотребляйте подзаголовками, используйте их для структурирования содержания веб-страницы.

5. Используйте маркерные и нумерованные списки. Это позволит вам оживить содержание веб-страницы и структурировать небольшие взаимосвязанные данные.

6. Чем короче URL, тем лучше. Используйте в качестве ЧПУ главное ключевое слово в оригинале, транслите, переводе. Смотрите подсвеченные ключевые слова в URL сниппетов конкурентов.

Дружелюбный URLПримечание: структурирование данных это человеческий язык общения с поисковыми роботами.

Визуальная информация и поведенческие факторы

7. Добавляйте на каждую веб-страницу как минимум одну картинку или видео. Это должно способствовать взаимодействию с пользователями и понижать уровень отказов. Привлечь внимание — важно, но соответствовать ожиданиям посетителей — важнее.

8. Используйте ключевые слова в названиях файлов и alt-атрибутах картинок. Постарайтесь сохранить соответствие между ключевиками и документами, для которых они используются в качестве описания их содержания. Нарушение этого «равновесия» ухудшит понимание поисковым роботом вашего контента.

Примечание: визуальная информация — воронка основ SEO.

Основы копирайтинга

9. Содержание из более двух тысяч слов ранжируется лучше. Чем больше у поисковой системы данных, тем лучше она понимает содержание веб-страницы и качественней ранжирует документ.

Учитывайте порядка слов, используйте оператор квадратные скобки в wordstat.

10. Используйте точное вхождение ключевого слова в пределах первых 100 слов статьи. Это позволит поисковому роботу убедиться в том, что TITLE, description и H1 соответствуют содержанию веб-страницы.

11. Ссылайтесь на релевантные страницы с наименьшим количеством внешних ссылок. Это позволит получить наибольший обратный траст (от англ. trust — доверять) за счёт этих ссылок. Используйте цитирование через тек BLOCKQUOTE.

12. Добавляйте 2-3 ссылки на похожи статьи вашего ресурса в контексте текущей статьи. Такая перелинковка позволит поисковому роботу убедиться в том, что ресурс сохраняет общее тематическое направление, что придаст ему дополнительный вес при ранжировании.

13. Используйте синонимы для ключевых слов. Это позволит избежать подозрений в попытке переоптимизировать текст и сохранит его читабельность для людей.

14. Повышайте скорость загрузки веб-страницы не в ущерб пользовательскому опыту. Проверяя сайт в том же PageSpeed Isight, не забывайте, что это лишь технические подсказки. Пользовательский опыт взаимодействия с сайтом всегда будет важнее. Сделайте всё, чтобы веб-страница загружалась быстрее, но и не во вред удобству пользователя. Отслеживайте результат в том же Вебвизор сервиса сбора статистики Яндекс.Метрика.

15. Дата публикации — сообщает поисковику, что вы первоисточник. Лучший способ защитить контент от копирования, даже рейтинговыми сайтами — сообщить поисковику, что вы опубликовали это первым. Поэтому не нужно скрывать дату публикации.

Примечание: контент король — когда он интересен пользователям и понятен поисковым роботам.

Основы ликбилдинга

16. Не спамьте и зарабатывайте естественные ссылки. Решить проблему негативного SEO — сложно, но всегда можно заработать естественнее ссылки. Станьте экспертом в своей нише и вы получите ссылки от коллег, людей работающих в том же направлении или партнёров.

17. Разбавьте ссылочную массу ссылками с доменным именем в анкоре. У 10% сайтов в ТОП 10 Google, по данным Searchmetrics, наблюдается наличие доменного имени в анкорах ссылок. Но такое нужно в первую очередь чтобы снизить подозрение на переспам.

18. Анонсируйте сатьи в соцсетях. Facebook, Twitter и ВКонтакте — достаточно. Используйте сервисы кроспостинга, например «Пистон Постер», но разумно. Старайтесь добиться событийных соцбумов, т. к. событийный трафик может быть временным, но большим.

19. Спрашивайте, дайте то, что нужно и получите ссылки. Узнайте, чего хотят именно «они». Дайте им это. В результате вы получите много естественных ссылок. Это лучший спобото быстрого старта в линкбилдинге.

Примечание: «не спамьте» — главное правило линкбилдинга.

Короткая ссылка: http://goo.gl/fb/mschf5

Теперь, когда мы рассмотрели основные принципы работы поисковых систем и убедились в необходимости SEO, пришло время перейти к конкретным рекомендациям по оптимизации сайта.

Как известно, поисковые системы видят веб-страницы иначе, чем мы с вами. В этой части руководства специалисты блога moz.com расскажут о технических деталях веб-разработки и поисковой оптимизации, которые помогут вам сделать ваш сайт одинаково понятным и привлекательным для поисковых систем и для пользователей.

Как попасть в индекс?

Первое, что нужно сделать для того, чтобы поисковые системы начали показывать ваш сайт в результатах поиска, — это попасть в индекс. Для этого вам необходимо представить всю важную информацию в формате HTML-текста. Дело в том, что поисковые роботы часто игнорируют или не придают должного значения изображениям, флэш-файлам, Java-приложениям и другому нетекстовому контенту. Вы можете быть уверены в том, что ваш контент доступен поисковым системам, только в том случае, если вы создадите его в HTML формате.

Если вы хотите разнообразить контент и использовать разные форматы, используйте такие подсказки для поисковых систем:

  1. Прописывайте значение атрибута для изображений в формате gif, png или jpg.
  2. Помимо формы поиска используйте и другие способы навигации по сайту, понятные поисковым системам (облако тегов, карта сайта, рубрики).
  3. Добавляйте к флэш и Java-элементам текстовое описание.
  4. Сопровождайте видео и аудио-контент текстовой расшифровкой, чтобы поисковые системы могли проиндексировать этот контент.

Как видят сайты поисковые системы?

Многие сайты имеют проблемы с индексацией, поэтому никогда не будет лишним перепроверить, все ли вы сделали, чтобы поисковые системы смогли обнаружить и понять ваш контент. Определить, какие элементы вашего контента проиндексированы поисковыми системами можно при помощи кэш-памяти или таких инструментов, как SEO-browser.com или MozBar.

В качестве примера можете посмотреть, как выглядит кэшированная версия страницы Contentmonster:

Как видите, Google не видит множество элементов, которые доступны нам с вами. Вот почему у поисковых систем возникают сложности с определением релевантности страниц.

Перед оптимизацией сайта обязательно убедитесь в том, что поисковые системы видят ваш контент. Это касается не только изображений и видеофайлов, но и ссылок.

Как сделать ссылки доступными для поисковых систем?

Чтобы поисковые системы смогли обнаружить и проиндексировать страницы вашего сайта, они должны видеть ссылки, которые на них ведут. Организованная ссылочная структура сайта, или перелинковка, — важный аспект оптимизации, от которого зависит, смогут ли поисковые роботы получить доступ к каждой из страниц вашего сайта. Тысячи разработчиков упускают этот момент из виду, в результате чего страницы не попадают в индекс и не отображаются в поисковой выдаче.

Изображение ниже наглядно демонстрирует эту проблему:

Если сайт построен по схеме, изображенной выше, то поисковый робот, который попадет на домашнюю страницу А, увидит ссылки на страницы B и Е, однако он не узнает о C и D, потому что эти страницы не связаны с другими страницами сайта. Вы можете наполнить эти страницы качественным контентом, оптимизировать их, прописать мета-теги, но они все равно останутся вне досягаемости для поисковых систем.

Анатомия ссылок

На изображении выше элемент “<a“означает начало ссылки. Ссылка может представлять собой текст, изображение или другой элемент, при клике на который пользователи будут перенаправлены на другую страницу. Гиперссылка – это традиционный навигационный элемент Интернета.

Далее следует адрес страницы, на которую ведет ссылка. В нашем примере ссылка будет вести на сайт jonwye.com. Следующий элемент называется анкор – это видимая часть текстовой ссылки. Тег закрывает ссылку, так что все последующие элементы страницы не будут иметь отношение к ссылке.

Это базовый формат ссылок, который понятен поисковым системам. Поисковые роботы знают, что они должны перейти по этой ссылке, определить PR и другие показатели страницы, добавить эту ссылку в индекс.

Почему некоторые страницы не попадают в индекс?

Ниже мы рассмотрим наиболее распространенные причины, по которым страницы остаются недоступными для поисковых систем:

  • Для входа на сайт необходимо заполнить онлайн-форму. Если пользователям для получения доступа к контенту необходимо заполнить онлайн-форму (ввести логин и пароль или более подробную информацию), то этот контент вероятнее всего останется недоступным для поисковых систем.
  • На сайте используются ссылки в Javascript. Если вы создаете ссылки в Javascript, то поисковые системы могут либо проигнорировать их, либо не придать должного значения страницам, на которые ведут эти ссылки. Используйте стандартные ссылки вместо Javascript, если вы хотите, чтобы поисковые системы проиндексировали страницы, на которые ведут эти ссылки.
  • Ссылки блокирует мета-тег robots или файл robots.txt. Мета-тег robots и файл robots.txt позволяют владельцам сайтов ограничить доступ поисковых роботов к определенным страницам или их элементам. Некоторые веб-мастера по незнанию используют эти инструменты для защиты сайта от ботов, но на самом деле они делают сайт недоступным для поисковых систем.
  • На сайте используется тег frame или I-frame. Технически ссылки в frame и iframe доступны для поисковиков, однако они создают определенные трудности для поисковых роботов. Поэтому если вы не знаете, как поисковые системы индексируют и переходят по ссылкам в I-frame, лучше их не использовать.
  • На сайте используются формы поиска. Многие веб-мастера думают, что поисковые системы умеют пользоваться формами поиска и могут с их помощью получить доступ ко всем страницам сайта. Но, как упоминалось выше, поисковые системы не заполняют онлайн-формы, поэтому сотни страниц так и остаются непроиндексированными.
  • Поисковые системы игнорируют ссылки, потому что их слишком много. Поисковые системы переходят по ограниченному количеству ссылок со страницы. Эта мера была введена для борьбы со спамом и накручиванием рейтингов. Если вы добавите на страницу слишком много ссылок, то многие из них могут остаться невидимыми для поисковых систем.

Избегайте этих ошибок, и ваш сайт будет иметь организованную ссылочную структуру, благодаря которой поисковые системы смогут проиндексировать все страницы вашего сайта.

Rel=”nofollow”

Значение rel=“nofollow” используется внутри тега : Lousy Punks!. Этот атрибут говорит поисковым системам о том, что мы не хотим, чтобы они переходили по данной ссылке и индексировали ее.

Rel=”nofollow” начали использовать как средство борьбы со спам-комментариями. Поисковые системы воспринимают ссылки с этим атрибутом несколько иначе, чем обычные ссылки.

Означает ли это, что ссылки nofollow не имеют веса?

Ссылки nofollow определенно имеют меньшее значение для поисковых систем, чем обычные ссылки. Тем не менее, наличие таких ссылок в ссылочной структуре сайта – это естественно. Более того, согласно компании Moz, популярные сайты имеют больший процент входящих ссылок с атрибутом nofollow.

Как Google воспринимает nofollow ссылки?

По словам Google, в большинстве случаев он не переходит по ссылкам nofollow и не учитывает их при определении PageRank страницы. Эти ссылки не имеют веса и воспринимаются как HTML текст (так, как если бы ссылки не существовало). Тем не менее, многие веб-мастера считают, что даже простое упоминание вашего сайта другим авторитетным источником (таким как Wikipedia) может послужить на пользу сайта.

Использование ключевых слов

Ключевые слова – неотъемлемая составляющая Интернет-поиска. Когда поисковые системы индексируют контент сайтов, они распределяют их по базам данным с разными ключевыми словами. Другими словами, вместо того, чтобы хранить 25 миллиардов страниц в одной базе данных, поисковые системы используют миллионы меньших баз, каждая из которых содержит сайты с определенным ключевым словом. Это позволяет поисковым системам находить релевантные страницы и выдавать результаты поиска за доли секунды.

Очевидно, что если вы хотите, чтобы ваш сайт выдавался по запросу «кошка», первое, что вам нужно сделать – это убедиться, что поисковые роботы увидят это слово на странице.

Роль ключевых слов

Ключевые слова играют первостепенную роль в Интернет-поиске. Когда пользователь вводит запрос, поисковые системы подбирают страницы с соответствующими ключевыми словами. Порядок слов в запросе, пунктуация, использование дополнительных символов – все это помогает поисковым системам подобрать наиболее релевантные ответы.

Чтобы определить релевантность страницы, поисковые системы анализируют, как ключевые слова использованы в тексте. Для оптимизации страницы под определенное ключевое слово необходимо использовать его в тексте, title и мета-тегах. Подробнее мы поговорим об этом ниже.

Конкуренция по низкочастотным запросам ниже, поэтому чем точнее ключевое слово, тем выше ваши шансы попасть в результаты поиска.

Злоупотребление ключевыми словами

С момента появления поисковых систем разработчики пытались повлиять на результаты поисковой выдачи, напихивая страницы ключевыми словами. Они пытались использовать ключевики везде, где только возможно: в тексте, url, в мета-тегах и ссылках. Сейчас такая стратегия принесет вашему сайту больше вреда, нежели пользы.

Времена, когда поисковые системы полагались только на ключевые слова при ранжировании сайтов, остались в прошлом. И хотя поисковые системы по-прежнему не воспринимают тексты так же, как люди, качество результатов поисковой выдачи постоянно повышается и постепенно приближается к идеалу.

Ключевые слова нужно использовать в текстах максимально естественно. То есть, если вы оптимизируете текст под фразу «Эйфелева башня», будет логичным написать про саму Эйфелеву башню, историю ее создания или даже порекомендовать отель в Париже. С другой стороны, если вы просто употребите несколько раз ключевое слово в нерелевантном контексте (например, о разведении собак), то вряд ли вы добьетесь каких-нибудь результатов.

Внутренняя оптимизация

Несмотря на большое количество факторов ранжирования, ключевые слова по-прежнему остаются одним из факторов, которые учитывают поисковые системы при оценке релевантности веб-сайтов. Специалисты компании Moz провели множество экспериментов, в ходе которых определили, как наиболее эффективно использовать ключевые слова для оптимизации.

Миф о плотности ключевых слов

До сих пор ведутся споры относительно того, какова должна быть плотность ключевых слов для эффективной оптимизации страницы. Однако, как продемонстрировал доктор Эдель Гарсия, плотность ключевых слов не учитывается поисковыми алгоритмами, поскольку не дает никакой информации о релевантности контента.

Возьмем два документа, D1 и D2, каждый длиной 1000 слов (l = 1000). В каждом тексте ключевое слово встречается по 20 раз (tf = 20). Анализатор плотности ключевых слов покажет, что коэффициент плотности для этих страниц равен KD = 20/1000 = 0.020 (или 2%). Такое же значение мы получим, если проанализируем текст длиной 500 слов, в котором будет 10 ключевых слов. Однако анализатор плотности не сможет определить, какой из документов более релевантен, поскольку эти значения ничего не говорят о:

  • расстоянии между ключевыми словами на странице;
  • других повторяющихся фразах на странице;
  • расположении ключевых слов на странице;
  • основной теме документа.

Другими словами, плотность ключевых слов не является показателем качества или релевантности сайта, а также ничего не говорит о семантике и контенте документа.

Как создать эффективный title?

Title – это название страницы, которое отображается в строке заголовка окна браузера, а также часто используется как название поста, когда им делятся в соцсетях. Если вы используете ключевые слова в title, поисковая система выделит их жирным шрифтом на странице результатов поиска, что привлечет внимание пользователей и увеличит кликабельность ссылки.

Еще одна причина создавать информативные title и использовать в них ключевые слова заключается в том, что это способствует повышению позиций сайта (почему упали позиции сайта?) в поисковой выдаче.

Title должен давать четкое представление о содержании страницы. Это необходимо как для удобства пользователей, так и для поисковой оптимизации. Ниже вы найдете основные рекомендации по оптимизации тега title:

Помните о длине

Поисковые системы отображают только первые 65–75 символов title. Эти ограничения используют большинство поисковиков, так что стоит придерживаться этих рамок. С другой стороны, если вы оптимизируете страницу под несколько ключевых слов, может иметь смысл использовать более длинный title.

Размещайте ключевые слова ближе к началу title

Чем ближе к началу текста находятся ключевые слова, тем большее значение им придают поисковые системы и тем полезнее они будут для оптимизации страницы.

Используйте название бренда для повышения узнаваемости

Многие компании добавляют в конце title название бренда. Это не только повышает узнаваемость, но также увеличивает кликабельность среди людей, которые знакомы с этой компанией и доверяют ей. Иногда имеет смысл расположить название бренда в начале текста, к примеру, для домашней страницы.

Создавайте привлекательные и читабельные title

Title должен быть информативным и читабельным. Интригующий заголовок привлечет больше трафика из поисковых систем. Другими словами, важно думать не только о ключевых словах и оптимизации, но и о пользователях.

Оптимизация при помощи мета-тегов

Мета-теги изначально предназначались для того, чтобы предоставлять поисковым системам информацию о контенте сайта. Ниже вы найдете описание основных мета-тегов, которые используются для оптимизации сайтов.

Мета-тег Robots

Мета-тег Robots используется для управления работой поисковых роботов на уровне страницы. Вы можете присвоить мета-тегу одно из следующих значений:

  • index/noindex: разрешает/запрещает поисковым системам индексировать страницу. По умолчанию поисковые системы индексируют все страницы, поэтому использовать значение “index” не обязательно.
  • follow/nofollow: разрешает/запрещает поисковым системам переходить по ссылкам со страницы. По умолчанию всем страницам присваивается значение follow.
  • noarchive: запрещает поисковым системам сохранять кэшированную копию страницы. По умолчанию поисковики сохраняют копии всех проиндексированных страниц.
  • nosnippet: запрещает поисковым системам отображать блок с описанием (сниппет) в результатах поиска.

Мета-тег Description

Мета-тег description представляет собой краткое описание содержания страницы. Поисковые системы не учитывают ключевые слова или фразы из этого тега при ранжировании сайтов, однако эта информация чаще всего используется в качестве текста для сниппета в результатах поиска.

Мета-тег description также служит своего рода рекламой вашего контента, привлекая посетителей со страницы результатов поиска. Поэтому создание читабельного и привлекательного описания с использованием ключевых слов (которые Google выделяет жирным шрифтом) может существенно увеличить кликабельность ссылки.

Описание может быть любой длины, но следует учесть, что поисковые системы отображают только первые 160 символов, а остальной текст обрезают.

Если вы не добавите description, поисковые системы самостоятельно создадут сниппет из фрагмента текста на странице. Эта тактика подойдет для тех страниц, которые оптимизированы под несколько ключевых слов.

Подробнее об оптимизации мета-тегов title и description вы можете прочитать в этой статье.

Менее значимые мета-теги

Мета-тег Keywords. Раньше поисковые системы учитывали мета-тег keywords, но сейчас он не так важен для поисковой оптимизации.

Матетеги refresh, revisit-after, content type, и т.п. Эти мета-теги можно использовать для оптимизации сайта, однако они не настолько важны, как title и description, поэтому мы не будем на них останавливаться. Вы можете самостоятельно найти о них информацию в Интернете и решить, стоит ли использовать их для вашего сайта.

Канонические и дублированные страницы

Дублированный контент – одна из самых неприятных проблем, с которой сталкивается большинство сайтов. Поисковые системы активно накладывают штрафные санкции на сайты с дублированным контентом и понижают их позиции в поисковой выдаче.

При наличии на сайте двух страниц с одинаковым контентом происходит каноникализация, то есть автоматический выбор поисковой системой одной из дублированных страниц для индексации. Причем выбирают они далеко не всегда ту версию, которую продвигает владелец сайта.

Поисковым системам сложно самостоятельно определить, какая из страниц является оригинальной, а какая – дублированной. Поэтому часто при обнаружении дублированного поисковики понижают позиции обеих страниц.

Чтобы помочь поисковой системам найти оригинальную страницу, можно использовать 301 редирект. Помимо этого существует еще один способ решить проблему дублированного контента:

Используйте тег canonical

Чтобы указать поисковым системам предпочитаемую версию страницы, также можно использовать тег canonical, который выглядит следующим образом:

Страница, на которой установлен этот тег, будет восприниматься поисковыми системами как копия страницы, находящейся по адресу https://contentmonster.ru/blog. Вес входящих ссылок, ведущих на страницу, на которой установлена такая ссылка, будет передаваться на страницу https://contentmonster.ru/blog. Наглядно это показано в инфографике “Коды статусов страниц для SEO-специалистов”.

Расширенные сниппеты

Вы наверняка не раз видели в результатах поиска страницы со звездочками рейтинга, фотографией автора или дополнительными ссылками. Ваши ссылки могут отображаться в поисковой выдаче так же, если вы создадите расширенный сниппет для вашего сайта.

Расширенные сниппеты не являются обязательным элементом поисковой оптимизации сайта. Тем не менее, они привлекают внимание пользователей и увеличивают кликабельность ссылок. Растущая популярность расширенных сниппетов также свидетельствует об их эффективности.

Для создания расширенных сниппетов поисковые системы используют структурированные данные, которые добавляются в HTML-разметку страницы.

Как защитить свой сайт?

К сожалению, в Интернете есть тысячи (если не миллионы) сайтов, которые крадут контент с других страниц. Кража чужого контента называется скраппингом. Нередко страницы-скрапперы обгоняют по рейтингу сайты с оригинальным контентом и зарабатывают на этом неплохие деньги.

Чтобы избежать этого, вам прежде всего необходимо своевременно оповещать поисковые системы о каждом обновлении вашего блога. Это можно делать вручную или при помощи специальных плагинов.

Вы также можете обернуть лень воришек против них же самих. Дело в том, что большинство из них не удосуживаются перечитать или отредактировать контент перед публикацией на своем сайте. Добавляйте в ваши статьи внутренние ссылки на ваш блог. В таком случае поисковые системы увидят, что сайт-ворюга часто ссылается на ваш блог, и примут его за оригинальный.

Для рунета используйте инструменты Яндекса: оригинальные тексты в Яндекс.Вебмастер. Для WordPress создан плагин Webmaster Yandex, который позволяет отправлять тексты постов одним нажатием кнопки, не переходы в кабинет вебмастера.

Несмотря на то, что существует множество способов защитить контент, ни один из них не дает стопроцентной гарантии. Вам также следует ожидать, что чем популярнее будет становиться ваш сайт, тем чаще воры будут покушаться на его контент. В некоторых случаях это может никак не навредить вашему сайту, но если вы обнаружите, что мошенники крадут ваш трафик, вы можете воспользоваться инструментом от Google «scraper report». Этот инструмент недавно был анонсирован Мэттом Каттсом, руководителем команды по борьбе с поисковым спамом Google. С его помощью вы можете сообщить представителям поиска о том, что контент с вашего сайта был скопирован и незаконно использован на другом сайте. Естественно, Google не гарантирует, что воры будут наказаны, но попытка — не пытка.

Начало работы

Глоссарий

Ниже приводится краткое толкование наиболее важных терминов этого руководства.

  • Индекс. Google хранит информацию обо всех отсканированных страницах в индексе. Каждая запись в индексе содержит информацию о контенте и расположении (URL) соответствующей страницы. Проиндексировать означает отсканировать содержание страницы, прочитать его и добавить в индекс. Пример: Робот Googlebot проиндексировал несколько страниц на моем сайте.
  • Сканирование – поиск новых и измененных веб-страниц. Google находит URL, переходя по ссылкам, считывая информацию из файлов Sitemap, а также другими способами. Google сканирует Интернет, чтобы найти новые веб-страницы, а затем при необходимости индексирует их.
  • Поисковый робот – специальная программа, которая сканирует (просматривает) страницы в Интернете и индексирует их.
  • Робот Googlebot – общее название сканера Google. Пример: Робот Googlebot постоянно сканирует Интернет.
  • Поисковая оптимизация. Процесс, цель которого – сделать сайт доступнее для поисковых систем. Специалистов по поисковой оптимизации иногда называют поисковыми оптимизаторами. Пример: Мы обратились за помощью к поисковому оптимизатору.

Есть ли ваш сайт в Google?

Как узнать, есть ли ваш сайт в индексе Google. В строке поиска добавьте оператор «site:» перед адресом своей главной страницы. Если она есть в результатах поиска, значит Google добавил ваш сайт в индекс. Например, запрос «site:wikipedia.org» дает такие результаты2.

Если вашего сайта нет в Google. Google сканирует миллиарды страниц, но может пропустить некоторые из них. Чаще всего это происходит по перечисленным ниже причинам.

  • Другие сайты редко ссылаются на ваши страницы.
  • Если сайт новый, возможно, робот Googlebot не успел его просканировать.
  • Структура сайта затрудняет сканирование.
  • При попытке сканирования произошла ошибка.
  • Доступ Google к сайту заблокирован вами.

Как добавить сайт в Google

Попасть в результаты поиска Google просто. Не нужно ничего платить или даже отправлять нам информацию о сайте. Наша поисковая система полностью автоматизирована и использует поисковые роботы, которые постоянно сканируют Интернет и добавляют в индекс новые страницы. Именно так найдены почти все сайты, которые отображаются в результатах поиска. Как Google обнаруживает и сканирует веб-страницы и показывает результаты.

Изучите наши рекомендации для веб-мастеров, чтобы узнать, как оптимизировать свой сайт для Google. В случае их выполнения ваш сайт наверняка попадет в результаты поиска, хотя гарантировать это невозможно.

В Search Console есть инструменты, позволяющие добавлять контент в Google и проверять, как он выглядит в результатах поиска. Также вам могут приходить уведомления из Search Console об ошибках, найденных на вашем сайте. Регистрация в Search Console.

Приступая к разработке сайта, ответьте на перечисленные ниже вопросы.

  • Есть ли ваш сайт в результатах поиска Google?
  • Отвечает ли контент вашего сайта стандартам качества?
  • Есть ли в Google информация о вашей компании?
  • Достаточно ли быстро загружается контент сайта на различных устройствах?
  • Защищен ли ваш сайт?

Подробную информацию по этой теме можно найти здесь: http://g.co/webmasters.

В остальной части этого документа приводятся рекомендации по улучшению сайта для поисковых систем, организованные по темам. Список основных критериев видимости сайта в Google Поиске можно найти здесь: http://g.co/WebmasterChecklist.

Нужен ли вам специалист по поисковой оптимизации

Поисковая оптимизация – комплекс мер, которые позволяют повысить видимость сайта в поисковых системах. В этом руководстве приведены все основные сведения по оптимизации сайта. Кроме того, вы можете обратиться к услугам специалистов по поисковой оптимизации.

Обращение к специалисту по поисковой оптимизации – важный шаг, который позволяет улучшить сайт и сэкономить время. Обязательно проанализируйте все потенциальные преимущества, а также возможные риски плохой поисковой оптимизации. Многие специалисты по оптимизации, агентства и консультанты предоставляют владельцам сайтов полезные услуги, включая перечисленные ниже.

  • Анализ содержания или структуры вашего сайта.
  • Технические рекомендации по разработке веб-сайта, например, хостинг, переадресация, страницы с сообщениями об ошибках, использование JavaScript.
  • Создание контента.
  • Управление кампаниями по развитию бизнеса в Интернете.
  • Анализ ключевых слов.
  • Обучение в области поисковой оптимизации.
  • Консультации по определенным странам и регионам.

Прежде чем приступать к выбору специалиста по поисковой оптимизации, полезно расширить свои знания и узнать, как устроены поисковые системы. Рекомендуем полностью прочитать это руководство и ознакомиться со следующими ресурсами:

  • Google 101. Как Google сканирует веб-сайты, индексирует их и показывает результаты
  • Руководство Google для веб-мастеров
  • Как найти специалиста по поисковой оптимизации

Если вы решили воспользоваться услугой оптимизации поисковых систем, обратитесь к специалистам как можно скорее. Оптимальный момент – когда вы собираетесь изменить дизайн или создать новый сайт. Так вы и специалист по оптимизации сможете обеспечить полную совместимость сайта с поисковой системой. Однако хороший специалист может улучшить и существующий сайт.

Подробную информацию об этом можно найти в нашем Справочном центре.

Индексирование вашего контента

Чтобы Google проиндексировал ваш сайт, помогите нам найти его. Для этого рекомендуем использовать файл Sitemap. Он размещается на вашем сайте и содержит информацию обо всех новых и измененных веб-страницах ресурса. Узнайте, как создать и отправить в Google файл Sitemap.

Также Google находит страницы по ссылкам с других страниц. О том, как помочь пользователям найти ваш сайт, читайте в разделе по поисковому продвижению интернет магазина.

Как заблокировать индексацию определенных страниц

Рекомендации

Чтобы исключить из индекса страницы с неконфиденциальной информацией, используйте файл robots.txt

В файле robots.txt содержится информация для поисковых систем о том, какие разделы сайта можно сканировать. Этот файл должен быть размещен в корневом каталоге сайта. Страницы, заблокированные с помощью файла robots.txt, могут быть проиндексированы. Поэтому, если они содержат конфиденциальную информацию, используйте более надежные методы.

Возможно, вы хотите заблокировать сканирование некоторых страниц сайта, потому что они не представляют интереса для пользователей. Если у вас есть такие страницы, вы можете воспользоваться генератором файлов robots.txt в Google Search Console. Если на вашем сайте есть субдомены и вы хотите исключить из сканирования определенные страницы того или иного субдомена, то для него нужно создать отдельный файл robots.txt.

Как удалить страницы из результатов поиска: другие способы 

Чего следует избегать:

  • Не позволяйте Google сканировать результаты поиска по вашему сайту: пользователи останутся недовольны, если, нажав на ссылку в Google Поиске, они снова попадут на страницу с результатами поиска.
  • Не разрешайте сканировать URL, созданные в результате работы прокси-сервисов.

Для конфиденциальной информации используйте более надежные способы

Файл robots.txt не подходит для блокировки сканирования страниц с конфиденциальной информацией. Он всего лишь указывает, что поисковым роботам не нужно сканировать определенные страницы, но не запрещает показ этих страниц в браузерах. Поисковые системы могут отображать заблокированные URL (только их, но не соответствующие заголовки и описания страниц), если ссылки на них есть в Интернете (например, в журналах переходов). Кроме того, некоторые поисковые системы и так называемые «пауки» могут игнорировать инструкции в файлах robots.txt. Наконец, пользователи могут просмотреть каталоги и подкаталоги в вашем файле robots.txt и узнать URL контента, который вы хотите скрыть.

Если вы хотите, чтобы страница не отображалась в Google, но не скрываете ее от пользователей, которые могут перейти на нее по прямой ссылке, используйте тег noindex. Для еще большей надежности применяйте различные методы авторизации, например запрос пароля на странице или сайте.

Помогите Google и пользователям узнать, о чем ваш сайт

Google должен видеть ваши страницы так, как их видят пользователи

Когда робот Googlebot сканирует страницу, он должен видеть ее как обычный пользователь. Чтобы обеспечить правильное индексирование и отображение страниц, нужно предоставить роботу Googlebot доступ к JavaScript, CSS и графическим файлам на сайте. Если в файле robots.txt закрыт доступ к этим ресурсам, то Google не удастся правильно проанализировать и проиндексировать содержание. Это может ухудшить позиции вашего сайта в Поиске.

Рекомендуемые действия:

  • Чтобы убедиться, что робот Googlebot может сканировать JavaScript, CSS и графические файлы на вашем сайте, используйте Сканер Google для сайтов. Этот инструмент моделирует процесс сканирования и показа страниц. С его помощью можно найти и исправить ошибки индексирования сайта.
  • Проверьте свой файл robots.txt в Google Search Console.

Источник: http://www.chuvyr.ru/2016/06/osnovy-seo.html