АГС за неудачную CMS

http://webimho.ru/topic/408/page__fromsearch__1

02 03 2012 - Готовим WordPress -

#

Важно создать правильный robots.txt. Максимум, чего можно добиться средствами Wordpress, а, точнее, Google XML Sitemap, так это прописать sitemap в виртуальный robots. А меж тем довольно много нужно закрывать от индексации.

#

Вот тут не соглашусь. Для ВП robots не нужен. Достаточно установить любой seo-плагин и настроить, чтобы на лишних страницах ставился тег robots со значением noindex, follow. Это многократно проверено и отлично работает.

#

Лучше роботс, меты еще хреново Яндекс пользует

#

Отлично пользует. А вот роботс и Гугл, и Яндекс любят игнорировать, особенно, если сайт старый и файл роботс сделан после индексации. В таких случаях нифига не повыкидывает странички. А вот с тегом - выкидывает.

http://red-book-cms.ru/poleznosti/ags-yandeksa-poleznyie-faktyi.html

АГС Яндекса: полезные факты (?)

Про АГС и логику Яндекса:

1. Большинство (возможно, ВСЕ) разработок Яндекса содержат N-ое количество ошибок. В принципе, как у всех. Но у Яндекса их больше, чем скажем у Google. По разным причинам.
2. За последний год в Yandex начали вводить слишком много изменений (значительных и не очень, нужных и ненужных). => Их программисты и т.п. не успевают. => Глюки / баги во ВСЕХ(?) сервисах в разной степени.
3. Допустимой к внедрению (внедряемой, действующей, работоспособной) считается такая разработка, которая при своей работе содержит наименьшее количество неверных срабатываний по отношению к правильным срабатыванием. Возможно даже (но маловероятно), если количество ошибочных пусков будет 49%, а правильных к примеру 50%. Разумеется для различных сервисов Яндекса эти цифры существенно варьируются.
4. АГС в некотором проценте к общему числу проиндексированных сайтов назначается случайным образом по причине первых трех факторов.
5. АГС приходит к настоящим ГС («говносайтам»).
6. АГС приходит к настоящим СДЛ («сайтам для людей»), — читайте предыдущие пункты.
7. У СДЛ меньше шансов вылететь из поиска и индекса чем у ГС.
8. У СДЛ больше шансов вернуться в индекс и поиск, преодолев АГС.
9. С определенной вероятностью СДЛ может и не вернуться в выдачу.
10. С определенной вероятностью ГС может вернуться в выдачу.

Ещё несколько обобщений:

• Неважно сколько вашему сайту лет, сколько у него тИЦ, каков PR, удобна ли его структура для пользователей и роботов, какой у него дизайн, какая у него структура и какова посещаемость (возможно до того момента, когда последняя не приблизится к сотням тысяч уникальных посетителей в сутки, миллионам посетителей, но тогда вам уже будет ни холодно ни жарко от Яндекса, — будет своя постоянная аудитория, плюс Google поможет). АГС может прийти ко всем, почти ко всем.
• Очень часто люди («вебмастера») ПУТАЮТ понятия СДЛ и ГС, совершают ошибки в коде, настройках сервера, robots.txt, размещают слишком много внешних ссылок, вообще не следят за веб-ресурсом. Их сайты взламывают и т.п. И тогда по совокупности факторов в гости приходят «фильтры».
• АГС не просчитать наверняка, — как работают фильтры (факторов приличное количество), об этом не знает (в т.ч. не имеет представления) даже большая часть сотрудников самого Яндекса.
• При наличии определенных сил и средств все-таки можно частично предугадать АГС или его причины… до масштабного обновления алгоритмов. После придется заново собирать статистические данные для анализа.
• Цель всех активных изменений, вносимых, как в поиск, так и сервисы в т.ч. и в поднятии / накрутки цены на акции компании.
• Яндекс — коммерческая организация => собственная прибыль для компании превыше всего.

* * *

Все описанное сформировано на основе собственного и чужого опыта. В определенной мере является лично моим мнением.

P.S. В , июне, сего года (2013) читаемый вами сейчас блог, также успел побывать под фильтрами Яндекса, и вышел из-под них за пару месяцев (только далекие отголоски печального прошлого немного продолжают легонько напоминать о себе), потому я знаю о чем пишу.

Опубликовано 6-11-2013 в 17:11

Комментарии:

1. Ирина Чжан: 08.11.2013 в 19:59

«Яндекс => собственная прибыль для компании превыше всего.»
Механизм весьма прост. Если сайт служит целям реализации товаров или услуг, то АГС прямо подталкивает к более активному использованию Директа.

https://twitter.com/ucoz_ru/status/473837158181371905

График попадания сайтов различных CMS под фильтры АГС.

Источник: http://www.slideshare.net/kakbactam/2014-fuc40

   Дмитрий Шишкин ? ‏ @ Shugich 4 июня

ну это потому что на Джумле, Вордпрессе и т.д. все готово, чтобы моментально сделать сайт-помойку.

http://webimho.ru/topic/58/

АГС или БАН за CMS - миф или реальность ? -

#1 Drakon

ВП , джумлы и т.д. ...это движек, и как не крути некоторые признаки остаются видны ....
и вот вспоминая про обучаемые алгоритмы яднекса...
если много ГС (говносайтов) начинают делать на каком то движке, то яндекс анализируя сайты от ацесоров, начинает выделять эти признаки ....
и далее он применяет санкции к сайтам, где эти признаки совпадут ....
так что хоть сам факт нелюбви определенных движков является мифом, правда в нем есть ...

#15 Spinne

Проблема в том, что алгоритмы ПС сейчас в какой-то степени обучаемые. Натравили на выборку псевдосайтов, отобрали характерные признаки, и что среди этих признаков оказалось? С вероятностью около 95% туда попадут особые приметы ходовых движков, применяемых при строительстве всяческих MFA, MFS(ape), MFV(arez). А потом гадай, отчего такой нежно любимый nulled DLE как будто по умолчанию отправился в бан прямо со стапеля.

#16 donc

Ну если вспомнить наш "любимый" симпл - он то выпиливался яндексом сразу, не попадая в индекс.
Значит все же кластеры
и не менее любимые net.ru org.ru pp.ru, которые начиная с определенного момента никогда не попадали в индекс

#21 Zla13  17 February 2012

Одно время все нулевые сайты на битриксе поднимались из духов в деды буквально за пол года. У меня их есть несколько (клиентские), все живут припеваючи. В это же самое время сайты на джумле пребывали в ауте. И там и там были дубли контента, мне доступа не давали, да и не важно было это.

#29 Zen  20 February 2012

вот не делал ты сайты на симпле, а зрятам тотальная хана была.

Тотальная хана при нормальной структуре.

#34 Spinne    22 February 2012

Таки единожды распилив и уникализировав, можно кучу ГС наделать.

А вот в этом, вероятно, и все дело.
Делается модификация (хотя чаще она не делается, все ограничивается простой в обращении сборкой). Делается ГС. Запускается в аддурл – вроде в индекс пошел нормально. Бегом на SEO-форум (фриланс-биржу, еще куда-то) и тут же появляется объявление: "Штампую ГС на заказ, 3 бакса за штуку, оптовикам скидка!". Процесс пошел...

Потом асессоры выхватывают новую волну, скармливают сидящему за партой алгоритму, он это все прожевывает – и, нервно сплюнув, говорит: "это я уже видел, опять джумла-полтора". И пошел другой процесс: где-то отложилась информация, что на разных сборках Джумлы 1.5 массово лепятся псевдосайты. И вот уже любой вылупившийся сайт на этом злополучном движке под подозрением, сразу после начала сканирования он отправляется на проверку. Сопутствующие недостатки найдутся в большинстве случаев. Вуаля, полное впечатление "бана по движку".

#39 donc

Просто я забил на серч, а там как раз пошла волна воплей о бане сплогов на симпле. Я пропустил треды.

Теперь достаточно активно мониторю темы и на серче и МТ (чисто из академического любопытства) о забаненых и АГС сайтах, выявляю составляющую. По движкам лидирует сейчас WP.

И это неудивительно. Любой школьник, скачав бесплатный тексткит, купив недорого скан или подобное УГ, подготовив для него файл, как для сипла и зарядив публикацию на 3 месяца вперед, может клепать ГС   бочками и корованами отгружать их в сапу

#44 Spinne

Основные обобщенные факторы ранжирования известны, их два: релевантность контента и ссылочный компонент (берем все вместе – и статвес и релевантность анкоров, чтоб два раза не бегать). Дополнительных можно придумать море, и все они уже будут показателями качества сайта, не имеющими отношения ни к релевантности, ни к Link Popularity. Как бы мы сами оценили некий сайт, где картинки нам не видны, а контент на инопланетом языке? Чтоб не отвлекать от оценки.

Смотрим и видим: сайт на типовой CMS, которую под силу в три клика установить любому школяру. Шаблон... ой, я этот шаблон уже видел примерно 100500 раз. Что там в коде? – Ужас в коде, теговый мусор, куча стилей в тегах в атрибутах style="...". Да еще и теги с доктайпом не дружат, ошибки в атрибутах, верстка на двойку. Общий вывод: сделано небрежно, качество низкое, ставим минус.

А все грехи – это не только верстка и модель движка. Это еще и огрехи кодировки, возможные дубликаты страниц, невнятная иерархия документов, ненормальная линковка, и многое другое, что тоже часто определяется движком. И зачастую вес каких-то параметров подкручивают, чтобы оттеснить кучу ГС, активно лезущих в выдачу. И при этом ненароком задевают ни в чем не виноватые сайты, которые были где-то на грани по этим параметрам. Это же машина, товарищи, для нее 80% распознавания – уже бесподобный результат. Статистически все безупречно.

 #45 hungryforester

Наваял сайтик на статике, по структуре похожий на типовый вордпрессовский блог, он под фильтр попал еще до продажи ссылок (и не один он был такой).