SEO блог – PrjSoft Статьи и новости по SEO

Это копия моей статьи, опубликованной на конкурсе для веб-мастеров:

http://webmasters.ru/forum/f85/organizaciya-topologii-saita-s-cel%60yu-sosredotocheniya-vesa-na-vnutrennei-stranice-dlya-vch-zaprosa-primery-keisy-14560/

PageRank

PageRank является запатентованным Google алгоритмом для расчета ссылочного веса веб страниц и обычно используется как синоним этого сочетания. Популярность PageRank объясняется простотой его вычисления – итеративная формула для расчета записывается одной строчкой:

Pr(A)[i] = 1 – d + d*(Pr(B1)[i-1]/C(B1) + …+ Pr(Bj)[i-1]/C(Bj) + … + Pr(Bk)(i-1)/C(Bk) , где (1)

Pr(A)[i] – PageRank для веб страницы A на i шаге расчета;
d – демпфирующий фактор, обычно принимается равным 0.85;
Bj – веб страницы, ссылающиеся на страницу A;
Pr(Bj)[i-1] – PageRank страниц, ссылающихся на A в момент расчета;
C(Bj) – число исходящих ссылок на странице Bj;

Итеративная процедура расчета PageRank для страниц сайта (сайтов) включает применение формулы 1 ко всем страницам рассматриваемого множества (сайт, сайты) в любой последовательности по одному разу для каждой страницы для одной итерации. Начальное значение PageRank для страницы не имеет большого значения (результат сходится к одной величине) и обычно принимается равным единице

Если внимательно изучить формулу 1, то можно сделать следующие интересные выводы, применительно к замкнутому множеству страниц:

Выводы 1

1. PageRank страницы не может быть меньше 0.15.
2. Если страница не имеет исходящих ссылок на другие страницы сайта, то ее PageRank не участвует в дальнейших расчетах и мы получаем утечку общего PagePank сайта.
3. При отсутствии утечек каждая страница передает 0.85 своего PageRank другим страницам (ссылки сами на себя не рассматриваем).
4. Независимо от внутренней ссылочной структуры сайта, при отсутствии утечек, суммарный PageRank сайта равен числу его страниц.

Оптимальная топология сайта для сосредоточения веса на внутренней странице для ВЧ запроса

Критерием оптимальности топологии сайта для сосредоточения веса на K внутренних страницах сайта, предназначенных для ВЧ запросов, выберем максимум отношения суммарного PageRank этих страниц к общему числу страниц сайта M, стремящемуся к бесконечности, при заданном ограничении на отношение отдельных PageRank между собой.

I = max(PR(1) + … + PR(K))/M, при PR(1) = е2*PR(2) = e3*PR(3) =…=ek*PR(K), M -> ∞, где (2)

I – критерий оптимальности;
e2…ek – заданные пропорции между PageRank ВЧ страниц;
M – общее число страниц сайта;
PR(1)…PR(K) – PageRank ВЧ страниц;
Максимум ищется по всем возможным топологиям для сайта.

Правдоподобные утверждения для выбора оптимальной топологии

Рассмотрим следующие утверждения, вытекающие из Выводов 1

Утверждения 1

1. Максимум суммы PageRank ВЧ страниц при заданных ограничениях будет достигаться при минимуме суммарного PageRank остальных страниц сайта (во всяком случае верно для одной ВЧ страницы и для глобального максимума для нескольких ВЧ страниц).
2. Максимум PageRank ВЧ страницы сайта с одной ВЧ страницей не может больше чем половина общего PageRank сайта.
3. Глобальный максимум для суммы PageRank ВЧ страниц не может быть больше чем М – 0.15* (M – K), где М и К – общее число страниц сайта и число ВЧ страниц.

Из пункта 2 Утверждений 1 следует, что оптимальная топология для сайта с одной внутренней ВЧ станицей – это простая иерархия, отображенная на следующем рисунке.

Для сайта с несколькими внутренними ВЧ страницами представляется перспективной топология со связанными между собой "сквозняком" ВЧ страницами и одной Hub страницей, представленная на следующем рисунке:

С ростом числа ВЧ страниц для этой топологии суммарный PageRank будет достаточно быстро стремиться к глобальному максимуму.

Проверка топологий на калькуляторе PageRank

Для проверки предложенных математических выкладок воспользуемся программой для расчета внутренних весов страниц сайта. Кроме предложенных топологий проверим еще два примера: топологию несвязанных между собой ВЧ страниц без Hub страниц и топологию связанных между собой ВЧ страниц без Hub страниц. Результаты расчетов приведены в следующей таблице. Общее число страниц M во всех экспериментах равнялась 13.

Также можно загрузить лист excel с результатами расчета для всех приведенных топологий.

Как видно из приведенной таблицы теоретические выкладки хорошо подтверждаются результатами расчета.

Распознавание речи – предыдущие попытки

Первые попытки создания общедоступных программ для распознавания речи на моей памяти относятся к середине 90-x годов. С периодом в три – черыре года я возращался и смотрел прогресс в этом направлении. Одна из последних попыток – возможности распознавания речи Windows 7 – не сильно меня впечатлила. Необходимость обучения, так же не прибавляла оптимизма.

Google и распознавание речи

В отличие от предыдущих попыток, “Стартап” голосового ввода и поиска от Google мне сразу понравился. Google не требует предварительного обучения и качественного оборудования. При нормальной дикции и не очень редких словах – распознавание почти 99%.

Распознавание речи и теория поиска

Особенно хорошо и я бы сказал подозрительно, Google распознает отрывки из стихов. Проверить это можно, например, на – речевом блокноте (speechpad.ru). Попробуйте ввести нечто подобное “Однажны в студеную зимнюю пору…” – Google с радостью распознает вашу речь. По всей видимости успех технологии от Google заключается не только в качественном звуковом анализе, но и в семантических возможностях поисковика.

Два бесплатных инструмента CamStudio и VirtualDub прекрасная альтернатива дорогим коммерческим продуктам для создания видео записи действий пользователя на экране (Screencasting).

Самая большая сложность в использовании CamStidio – это зловещее сообщение – “Unable to merge audio and video steam”, на практике означает неумение программы писать в директории, название которых содержит кириллицу. Вторая проблема с сообщением “Unable to create AVI file” – может воникать при изменение настроек программы. В этом случае программу нужно просто перезапустить. В остальном процесс создания обучающего видео абсолютно прозрачен – включаем опцию “Record audio from microfon” и запускаем запись. При создании презентации лучше двигаться маленькими шажками и каждый раз сохранять результаты в AVI файлах.

Для объединения файлов в один прекрасно подходит VirtualDub. Вся последовательность действий по слиянию файлов элементарна. Открываем первый AVI файл – двигаем ползунок кадров в конец, выбираем команду “Append AVI segment”, снова двигаем в конец, и.т.д. Единственная тонкость – перед сохранением результата нужно отметить в меню “Video” опцию “Direct stream copy” – иначе размер выходного файла будет ужасающим.

Назначение файла robots.txt

К основным функциям выполняемым файлом robots относятся:

1. закрытие служебного и конфиденциального контента от индексирования в поисковиках
2. закрытие страниц с похожим или дублированным контентом от индексации

Закрытие страниц от индексации естественно не означает, что она закрыта для просмотра, кроме того, это не означает даже, что страница не появится в поисковой выдаче, так как может быть найдена по ссылкам. Просто робот не будет загружать содержание этой страницы и в кэше поисковика ее тоже не будет.

Закрытие служебной информации для wordpress

WordPress 3.0 имеет три служебных каталога и в соответствии с первой функцией файла robots их надо закрыть от индексации:

Disallow: /blog/wp-admin/
Disallow: /blog/wp-includes/
Disallow: /blog/wp-content/

В представленном примере блог располагается в каталоге “blog” сайта.

Кроме перечисленных служебных каталогов в недрах страниц блога запрятаны ссылки еще на два служебных файла, расположенных в корневой директории блога – xmlrpc.php и wp-login.php, их тоже надо закрыть:

Disallow: /blog/wp-login.php
Disallow: /blog/xmlrpc.php

Теперь служебная информации закрыта.

Борьба с дублированнием контента

Практически на каждой страницы блога есть ссылка на trackback URL для данной страницы – url_страницы/trackback/. Этот URL в конечном итоге с помощью временного перенаправления 302 указывает на url_страницы. Есть небольшая вероятность, что поисковик может связать содержание с этим url, поэтому раньше я закрывал эти url:

Disallow: /blog/*/trackback

Теперь же я это делать перестал – результат я скоро проверю.

При включенном режиме постоянных ссылок при задании удобного URL wordpress все равно генерирует также стандартную ссылку с “?p=”. Я перестал закрывать эти ссылки, так как они перенаправляются постоянным редиректом 301 на удобный URL и, кроме того, wordpress указывает атрибут сanonical в ссылке на читаемый URL.

WordPress группирует посты по датам, категориям и меткам и при этом создается дублирование контента. В случае ценности таких группировок, закрывать их в роботе не надо, поисковик разбирется сам. В маленьком и не очень часто обновляемом блоге вреда от этого больше чем пользы. Поэтому я закрываю все группировки роботом:

Disallow: /blog/2009/
Disallow: /blog/2010/
Disallow: /blog/2011/
Disallow: /blog/tag/
Disallow: /blog/category/

RSS ленты и комментарии

RSS ленты (фиды) закрывать не надо, так как они способствуют быстрейшей индексации блога и не создают дублированного контента. Комментарии это дело вкуса – я не закрываю.

Созданный файл robots.txt

User-agent: *
Disallow: /blog/wp-login.php
Disallow: /blog/wp-admin/
Disallow: /blog/wp-includes/
Disallow: /blog/wp-content/
Disallow: /blog/xmlrpc.php
Disallow: /blog/2009/
Disallow: /blog/2010/
Disallow: /blog/2011/
Disallow: /blog/category/
Disallow: /blog/tag/

Технологии машинного перевода ведущих поисковиков

В последнее время на многих сайтах появилась ссылка: “просмотреть английскую версию”, которая пользуясь технологией переводов Google осуществляет дословный перевод текста. Yandex сейчас использует технологию Promt. Для английской версии моего сайта, перевод Google выглядел лучше. Сравнить результаты работы технологий можно, набив в поисковых системах адрес страницы www.design-sites.ru/en/.

Дублированный контент и переводные тексты

Качественный перевод позволяет Google применять эту технологию для анализа дублированного контента, причем полученного при ручном переводе. Недавно появившийся в панели веб мастеров Google анализатор дублированного контента в ошибках сканирования показывает страницы сайтов, переведенные на разные языки, причем ручным переводом, определяя их как не уникальный контент. Вообще говоря, раньше в официальном блоге Google говорилось, что перевод не является дублированием, но видимо положение вещей изменилось.

Перспективы поиска на разных языках

По всей видимости, развитие технологий приведет к отделению семантического содержания от языковой оболочки. Этот процесс уже запущен и набирает обороты.

Рекомендации Google по созданию многоязычных сайтов

Сегодня (15.03.2011) проверил официальную информацию по отношению Google к многоязычности на сайте.
В настоящее время Google рекомендует следующее:

• Использовать для навигации и контента один язык
• Блокировать страницы, полученные с помощью машинного перевода в robots.txt
• Делать перекресные ссылки со страницы на одном языке на соответствующую страницу на другом
  языке
• Использовать в url признак языка (ru, en, и.т.д.)

Сегодня я впервые увидел новый геотаргетинг от Google. Мне всегда был непонятен блок адресов Google, показываемый вместо нормальной выдачи с учетом местоположения, и, наконец, Google, видимо, решил изменить свою гео выдачу. Теперь на один и тот же запрос, заданный из разных городов, Google отвечает по-разному. Ниже приведен небольшой эксперимент для подтверждения сказанного.

Ответ Google на запрос в Москве

Ответ Google на запрос в Красноярске

На тот же запрос, заданный из Красноярска, начиная с четвертой позиции идет локальная выдача из Красноярска, то есть выдачи по Москве и Красноярску отличаются.

Видимо я поспешил насчет удаления блока адресов – сегодня 11 декабря я повторил эксперимент. Теперь я вижу и геозависимую выдачу и блок адресов одновременно. Я даже стал сомневаться – может так всегда и было. В любом случае привожу картинки, чтобы больше никогда не сомневаться.

Гео выдача Google в Москве + блок адресов

Гео выдача Google в Красноярске + блок адресов

Еще интересней картина получается, если задать город, отличный от автоопределяемого.

Гео выдача Google из двух городов

Из всего этого напрашивается вывод, что для проверки ранжирования по гео запросам в Google, лучше просто вводить в строку поиска город.

Выдача по геозависимому запросу с названием города