forum.boolean.name - Вопрос об индексации в поисковиках

forum.boolean.name (http://forum.boolean.name/index.php)

- Общее (http://forum.boolean.name/forumdisplay.php?f=139)

- - Вопрос об индексации в поисковиках (http://forum.boolean.name/showthread.php?t=19571)

Вопрос об индексации в поисковиках

Ситуация: есть сайт, на сайте том sitemap.xml

В sitemap.xml записано около 400 страниц контента c <changefreq>yearly</changefreq>
И это правдиво, так как комменты там бывают в среднем раз в полгода, а кроме них там поменяться особо нечему.

На каком-то этапе я, модифицировав движок сайта, заставил эти страницы рендериться по-другому (вывел дополнительные данные, ранее не показывавшиеся) и хотел бы, чтобы поисковики их проиндексировали (желательно не через год).

Вопрос: стоит ли временно установить <changefreq> другой или же поисковики всё равно рано или поздно обновят у себя данные? Есть ли сведения, когда и как это делается? Если месяц то ок, если больше то стоит отрывать жопенцию и что-то сделать.

Ответ: Вопрос об индексации в поисковиках

Судя по ощущениям, роботы мало обращают внимания на changefreq, и проверяют чаще, или реже если daily стоит...
Но на всякий случай лучше подстраховаться и поставить weekly или daily.

В Яндекс.вебмастер про индексацию сайта глянуть можно. Да и в гугле есть (давно только не пользовался).

Ответ: Вопрос об индексации в поисковиках

Уже давно пофиг. Роботы сами себе на уме.
Гугль в основном руководствуется средним периодом между обновлениями и засылает бота по своему расписанию.
Яндекс никакому анализу и логике не поддается, тут действуют не СЕО факторы:
цена на железо, шаловливые ручки разработчиков, придумывающих супер-алгоритмы, наличие кофе в автомате, настроение жены Платона Щукина, и главный фактор - швабра уборщицы бабы Маши...

Ответ: Вопрос об индексации в поисковиках

Насчёт <changefreq> спасибо, понял. Менять не буду.

Про Яндекс.вебмастер у меня вообще отдельный вопрос.
Может, кто знает, куда копать.

Ситуация случилась примерно такая:
Раньше на сайте не было ни роботс.тхт, ни сайтмапа, нихрена.
Тем не менее свёрстан он добротно, h1 везде где надо есть, ссылки на всё есть, тайтлы страниц, ну, как у людей. Так что и Гугл и Яндекс его индексировали нормально, все страницы видели, всё находили. В-общем-то насколько мне известно, сайтмап в принципе вещь необязательная, если есть ссылки на страницах, то роботы сами везде слазят.

Летом этого года что-то случилось в недрах Яндекса, и он перестал искать страницы с этого сайта вообще. Я ничего не трогал, разве что контент добавлял как и всегда.
В Гугле всё нормально. Даже из него количество приходящих юзеров (крайне лениво, но всё же) увеличивается.
Есть второй сайт на таком же движке, идентичный по структуре практически (только контент другой). С ним всё нормально.

Мне летом было некогда, летом у меня был диплом. С сайтов я денег не зарабатываю, так что в-общем-то мне было наплевать. Потом как-то забылось за другой суетой. Около месяца назад всё же решил выяснить в чём дело-то?

Зарегал сайт в Яндекс.вебмастере. Он мне радостно пишет: страниц в поиске 1 (конкретно это главная страница), загружено роботом 1 исключено 0. Никаких ошибок нет, всё в шоколаде.

Ну то есть Яндекс почему-то думает, будто сайт одностраничный. И никаких ссылок на другие страницы не видит (хотя они там есть, он их раньше видел, и гугл их видит), и внешние ссылки тоже есть.

Ну блин думаю, может и правда надо сделать сайтмап? Ок, сделал, в роботс.тхт прописал. Через несколько дней зырю чё почём. Гугл (который и так всё видел хорошо) сожрал сайтмап и стал видеть ещё лучше. Яндекс — ноль внимания. Полдждал ещё, Яндексу всё ещё наплевать. А в Вебмастере он пишет, что робот наведывается регулярно. А робот при всяком посещении читает роботс.тхт и, соответственно, не видеть там ссылку на сайтмап он не мог. Сайтмап, кстати проверял в валидаторах, всё ок.

Ладно, добавил сайтмап через интерфейс Вебмастера. Покряхтев, Яндекс таки схавал ссылку и написал:

"статус: в обработке добавлен 25.11.2014"
В подсказке: "Файлы, находящиеся «в обработке», как правило, обрабатываются в течение двух недель после добавления." Сегодня уже прошло 2 недели, сайтмап всё ещё «в обработке», в поиске всего одна страница, воз и ныне там.

На втором сайте делал всё то же. Сайтмап был схаван по ссылке из роботс.тхт без напоминания и обработан через несколько дней.

Вывод: Яндекс за что-то на тот сайт обиделся и не признаётся. Никаких ошибок не пишет, всё типа нормально.

Вопрос: как повлиять на ситуацию?
Стоит ли писать в техподдержку (а такая у Яндекса вообще есть?) и спросить хотя бы почему при здравствующем сайтмапе и активных ссылках машина никаких страниц кроме главной не видит?

Ответ: Вопрос об индексации в поисковиках

Это АГС
ничивонисделать, это яндек-с...

зы. можно в поддержку написать, но 99.99999999% что ответ будет от робота "наши алгоритмы блаблабла, развивайте сайт блаблабла, читайте наши мануалы блабла"
Зарегь новый домен а старый забудь. Это самое лучшее решение проблемы.

Ответ: Вопрос об индексации в поисковиках

Цитата:

Сообщение от tormoz (Сообщение 290369)

Ну ничего себе, этот домен уже широко известен в узких кругах.
Даже встречаю время от времени такой феномен: в Яндекс юзер вбивает домен (без доменной зоны). Кстати это единственный запрос, по которому Яндекс соизволит сайт всё-таки отыскать.
Короче придётся просто принять как данность что Яндекс единолично решил за юзеров, на какие сайты им, юзерам, ходить можно, а на какие нельзя, и ориентироваться на Гугл.

Господа знатоки! Следующий вопрос относительно sitemap.

https://support.google.com/webmaster...r/178636?hl=ru
У гугла для сайтмапов есть спецтеги для картинок. Но валидатор Яндекса упорно ругается "неизвестный тег" (можете скопипастить ему пример гугла чтоб позырить что к чему).

Код:

<?xml version="1.0" encoding="UTF-8"?>

 <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

  xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">

 <url>

  <loc>http://example.com/sample.html</loc>

  <image:image>

    <image:loc>http://example.com/image.jpg</image:loc>

  </image:image>

  <image:image>

    <image:loc>http://example.com/photo.jpg</image:loc>

  </image:image>

 </url> 

</urlset>

Буржуйские же
https://www.xml-sitemaps.com/validate-xml-sitemap.html
http://www.validome.org/google/
Говорят что всё ок.

Вопрос: "неизвестный тег" мешает Яндексу индексировать сайтмап или нет?
Насколько я читал, он просто игнорирует и всё остальное читает, но, как мы уже могли не раз убедиться, Яндекс напишет одно, а себе на уме у него другое.
Вопрос к тем, кто делал подобный сайтмап на своём опыте, как это повлияло?

Неужели нужно разносить сайтмапы или подсовывать Яндексу отдельно для него?

Ответ: Вопрос об индексации в поисковиках

Живём без сайтмапов вообще, всё индексируется итак. Это фильтр 100%. Если сайт нормальный и не посвящён какому-нибудь зелёному слонику, то пиши в поддержку Яндекса, могут ответить нормально. Нам отвечают. Скинь ссылку в личку, может сразу скажу, на что стоит внимание обратить и изменить до того, как обращаться в техподдержку.

Ответ: Вопрос об индексации в поисковиках

Цитата:

Сообщение от Phantom (Сообщение 290417)

Если сайт нормальный и не посвящён какому-нибудь зелёному слонику

Есть основания говорить, что твоё "нормально" больше чем моё "нормально"?

Ответ: Вопрос об индексации в поисковиках

Цитата:

Сообщение от Randomize (Сообщение 290418)

Есть основания говорить, что твоё "нормально" больше чем моё "нормально"?

В данном вопросе есть только одно "нормально" - по меркам Яндекса.

Ответ: Вопрос об индексации в поисковиках

Цитата:

Сообщение от LLI.T.A.L.K.E.R. (Сообщение 290407)

По делу - сайт без сайтмапа вполне индексируется в хуяндексе, имею только robots.txt. Скорее всего тех.поддержка поможет, если это не "особенность" самой поисковой машины.

Ответ: Вопрос об индексации в поисковиках

По поводу индексирования сайта и только одной главной странице в поиске:
https://ru.wikipedia.org/wiki/АГС_(фильтр)

Ответ: Вопрос об индексации в поисковиках

Цитата:

Сообщение от Arton (Сообщение 290381)

Говорит одно, а себе на уме другое.
Обиделся и говорит что не обиделся.

Хмм, по всей видимости именно так себя и ведут бабы. Так что наверное ты прав.

Цитата:

Сообщение от DStalk (Сообщение 290427)

По поводу индексирования сайта и только одной главной странице в поиске:
https://ru.wikipedia.org/wiki/АГС_(фильтр)

Спасибо, не знал! По всей видимости это оно!

Ответ: Вопрос об индексации в поисковиках

Если нужен google, то можно принудительно в webmasters запросить переиндексацию.
Работая с SEO, webmasters весьма полезная штука для google поисковика, и там много полезной инфы.