Yahoo Pipes — Убираем тэги

Все тэги можно удалить выражением типа <[^>]*>, и галкой на глобальной замене (g).

P.S. Для удаления тегов помимо <[^>]*> ещё подойдёт выражеие <.*?>
P.S. Если бы я записал <.*>, тогда будет так, как ты говоришь, потому что звёздочка — прожорливый квантификатор. Если же мы добавляем знак вопроса <.*?>, то мы искусственно убираем прожорливость и заставляем звёздочку жрать как можно меньше.

Originally posted 2010-02-03 20:24:05. Republished by Vancouver Web Design

Список поисковых систем 2

Русскоязычные поисковики: Яндекс (Yandex), Гугл (Google), Рамблер (Rambler), gogo (mail.ru), Aport, Nigma, Черепаха (Turtle), MSN.LiveSearch, Webfind, Yottos, Эй.Ру, Codavr, Яху (Yahoo!).

Русскоязычные региональные поисковики: Мета.

Русскоязычные поисковики (для блогов): Яндекс.Блоги, Гугл.Блоги.

Зарубежные поисковики: Alexa, Scrub The Web, SearcНramp, Coil, NetSearch, Netscape, Altavista, AOL, search, ASK, unasked.com, admcity.com, searchwho.com, Axxasearch.com.

Бета-поисковики: bing.com, (он же ru.msn.com),  wolfram.com.

Из зарубежных поисковиков интерес представляет в основном Alexa — рейтинг сайтов в интернете — из-за свего рейтинга (рейтинги выдаются также поисковыми системами Гугла — ПР (PR) и Яндекса — тИЦ (CY), называемыми на жаргоне ВМ — пузомерками).

Originally posted 2010-02-02 22:11:31. Republished by Vancouver Web Design

Когда я захотел сделать блог в который бы статьи добавлялись автоматически из выбранных мной новостных источников возникла проблема… все RSS-фиды по тематике моего блога отдавали статьи в RSS-ленту не полностью, а лишь анонсами… в то время как мне необходимы были полные тексты этих статей для размещения их на моем блоге……

В поисках способов автоматизированного получения полных текстов этих статей я потратил довольно много времени… многие писали что можно там наваять свой скрипт и т.д… но это мне не подходит поскольку я не знаю языков программирования, да и html то не знаю особо…  Однако благодаря небезызвестному многим Тормозу и его статье про применение Yahoo Pipes для робоблоггинга мне открылись широчайшие возможности Yahoo Pipes, которые позволили мне совершить задуманное…

Кратко о Yahoo Pipes:

“…Yahoo Pipes – это очень интересный инструмент для работы с RSS-потоками. Это не очередной онлайн-агрегатор, но инструмент куда более изящный и сложный. Одна из основных его возможностей — создание персональных RSS-потоков при помощи различных модулей, отвечающих за получение, фильтрацию, анализ, перевод, преобразование и сортировку потоков. Результат работы Pipes можно получить в виде нового RSS-потока, или же в формате JSON…”

Увидев вышеназванную статью Тормоза я стал усиленно изучать механизм работы описанной в его статье трубы… Изучение шло непросто, пришлось еще поработать с help`ом Yahoo Pipes, только тогда механизм работы трубы стал полностью мне понятен… Но время было потрачено не зря и поняв как работает его труба я на следующий же день легко реализовал поставленную самим собой задачу, сделав для этого свой пайп, который легко выдирает из rss-фида с анонсами новостей на Allboxing.ru полные тексты этих новостей…

Сама разработанная мной труба (pipe) представлена ниже:

Yahoo-pipes

Как видно на рисунке Yahoo Pipes имеет очень удобный графический интерфейс… Сама труба имеет модульную структуру, я использую только 5 модулей в своей трубе в то время как разработчики Yahoo Pipes придумали еще множество полезных модулей, которые вы можете использовать (например, перевод содержимого с одного языка на другой, сортировка элементов выходного фида по дате, различная фильтрация с целью убрать из фида, получаемого на выходе, ненужные вам элементы или выбрать только элементы посвещенные определенной тематике).

Чтобы получить короткую справку по любому из элементов и ссылку на пример нужно нажать на знак “?” в заголовке любого модуля.

Внизу есть Debugger в котором можно просмотреть что у вас получается на выходе каждого используемого вами модуля…

Итак рассмотрим работу трубы по порядку:

1. Fetch Feed.

Этот модуль позволяет получить содержимое выбранных фидов (у меня выбран один фид но можно вбить столько сколько нужно)… На выходе модуля имеем содержание нужного фида представленное в виде отделных item`ов: link, description и т.д. с каждым из которых можно затем работать… Как видно на рисунке, Yahoo Pipes не понимает кодировки выбранного мной русскоязычного фида, однако для меня это не важно поскольку из всего фида мне нужен только item link который содержит ссылку на страницу, содержащую полную версию искомой новости…

Yahoo-pipes-fetchfeed

2. Loop + Fetch Page.

Модуль Loop с помещенным в него модулем Fetch Page вытаскивает страницы с полными новостями по ссылкам содержащимся в item`е link исходного фида. Модуль Fetch Page появился совсем недавно, именно с его появлением стало возможно быстро решать задачи парсинга страниц. Раньше для этого приходилось использовать сторонние сервисы вроде Feedity или собственные скрипты. Модуль позволяет получить содержимое любой странички, вырезать из неё лишнее, да ещё и разделить на отдельные элементы. Я вырезаю из страниц нужное мне содержимое начинающееся с “<h3 class=”title”>”  и заканчивающееся на “<div align=”right”>”, где содержится непосредственно сам текст новости и её заголовок. На выходе этого модуля имеем:

Yahoo-pipes-loop

Вообще модуль Loop циклически перебирает каждый item rss-фида, применяя к его элементам какие-то модификаторы или производя определенные действия с данными. Внутри Loop вы можете размещать модификаторы строк или элементы из раздела Sources, для этого необходимо перетащить модуль непосредственно на Loop блок. При этом опция “emit result” – перезапишет заново все содержимое rss-ленты, а “assign results to” – направит вывод результатов в какой-то из item`ов, и не повлияет на существующие данные.

3. Rename — модуль переименования и копирования.

Чтобы на выходе получить RSS-фид нужно, чтобы он имел хотя бы 2 item`а: title (заголовок) и description (описание)… для их создания я и использую этот модуль копируя содержимое item`а content, полученного на выходе модуля Fetch Page, в item title, а затем переименовывая item content в item description… На выходе получаем фид с двумя item`ами, что нам и было нужно:

Yahoo-pipes-rename

4. Regex.

На выходе Rename мы получили фид с двумя item`ами которые  имеют абсолютно одинаковое содержимое, которое раньше являлось содержимым item`а content и включает как полный текст новости так и заголовок новости… Дальше нам нужно сделать так, чтобы item title содержал только заголовок новости, а item description содержал только текст новости без заголовка…  Вот тут мы и воспользуемся модулем Regex, который позволяет оперируя регулярными выражениями легко вычистить содержимое item`ов, оставив в них только нужный нам текст. Для операции “очистка” я задал в модуле Regex три правила:

  • заменить в item`е title:  “^<h3 class=”title”>([^<]*).*” на “$1”, где “$1” – это как раз то, что находится в первом выражении в круглых скобках; этим правилом я заменяю всё содержимое item`а title на то, что находиться в нем между “<h3 class=”title”>” и “<”, после чего в нем остается только текст заголовка новости, чего собственно мы и добивались…
  • заменить в item`е description:  “^<h3 class=”title”>[^<]*</h3>” на – “пустой текст”; этим правилом я просто затираю содержимое item`а description находящееся в нем между “<h3 class=”title”>” и “</h3>”, то есть убираю из него заголовок новости, который в описании новости мне не нужен…
  • заменить в item`е description: “</p>.*$” на “</p><div align=”right”><small>Источник-<a href = ‘http://allboxing.ru’>Allboxing.ru</a> </small></div>”; этим правилом я подписываю внизу каждой новости ссылку на её источник…

Кроме того, в модуле Regex для каждого правила у меня выставлены чекбоксы “s” и “i”. При необходимости могут быть выставлены чекбоксы “g”, “i”, “s”, “m” – это т. н. модификаторы:

  • “g” – если не выставлен этот чекбокс, то замена происходит только в одном (первом) вхождении (например, если вы хотите заменить в слове “мамашка” буквы “м” на буквы “к” и не поставите чекбокс, то заменится только первая буква и получится “камашка”, а вот с выставленным чекбоксом вы получите как раз то чего и ожидали
  • “i” – если этот модификатор используется, символы в шаблоне соответствуют символам как верхнего, так и нижнего регистра
  • “s” – если данный модификатор используется, метасимвол “точка” в шаблоне соответствует всем символам, включая перевод строк. Без него — всем, за исключением переводов строк. Этот модификатор эквивалентен записи /s в Perl.

Подробнее о модификаторах здесь.

Подробнее о регулярных выражениях здесь и здесь.

Итак на выходе после очистки item`ов получаем:

Yahoo-pipes-regex

… то есть получаем то что хотели – item title содержит только заголовок новости, а item description только текст новости без заголовка…

Originally posted 2010-01-31 16:44:50. Republished by Vancouver Web Design

Автонаполняемый аккаунт в Твиттере

допустим, у вас есть англоязычный сайт, на который не помешал бы дополнительный трафик. Тематика роли не играет. Для этой цели вполне можно использовать твиттер. Однако, если сайтов много, то делать много аккаунтов в твиттере и писать в них самому может оказаться слишком утомительно. Один из вариантов решения этой ситуации это автонаполняемый аккаунт в твиттере. Тот же сплог, что вам уже наверняка знаком, только в применении к твтиттеру. Не буду рассуждать сейчас о моральных сторонах этой проблемы, ограничусь технической. Итак, нам понадобится :

1. Твиттер аккаунт.
2. Сайт акцептор.
3. Специальные сервисы.

Начнем по порядку.

Твиттер Аккаунт

Тут все просто, регистрируете новый аккаунт, настраиваете его, прописывая все нужные данные. Особое внимание нужно уделить Био и имени. Старайтесь не использовать открытый спам, но используйте ваше ключевое слово в описании. О том, как правильно настраивать твиттер аккаунт я уже писал. Если у вас уже есть готовый твиттер аккаунт, то можно использовать и его.

Сайт акцептор

Тут тоже все просто, это сайт на который вы хотите получать трафик. Укажите адрес сайта в настройках аккаунта, так же можете использовать адрес сайта на вашем бэкграунде в твиттере.

Сервисы

Нам потребуется три сервиса, для создания полностью автоматического, само наполняемого твиттер аккаунта. Сервис номер один :

1. Tweetlater

tlater 300x198 Создаем автонаполняемый аккаунт в Твиттере

Первый сервис это — TweetLater.com. Позволяет автоматическои фолоовить тех, кто зафолловил вас. Создайте одну учетную запись в этом сервисе и добавляйте к ней ваши твиттер аккаунты, если у вас их много. После регисрации, перейдите в меню Accounts — Add account — выберите Твиттер . Поставьте галочку — Автоматически приветствовать новых фолловеров и напишите приветственное сообщение со ссылкой на ваш сайт, оно будет отправляться автоматом директом тем, кто вас зафолловит. Так же поставьте галочки — Auto follow и autounfollow.

2. Twitrobot

trobot 300x236 Создаем автонаполняемый аккаунт в Твиттере

Следующий сервис — TwitRobot.com. Позволяет публиковать в твиттер содержимое рсс лент, и отложенные сообщения. Добавьте две-три ленты, информация с которых будет транслироваться в ваш твиттер. Естественно, выбирайте тематические ленты, например новости гугла по вашему ключевому запросу. В бесплатной версии сервиса, возможна публикация только раз в три часа. Кроме этого создайте несколько рекламных сообщений с адресом вашего сайта. Установите ползунками нужное соотношение твиттов с рсс и твиттов с вашим сайтом.

3. Twollow

twollow 300x233 Создаем автонаполняемый аккаунт в Твиттере

Третий сервис twollow.com Предназначен для автофолловинга людей по определенным ключевым запросам. В бесплатной версии позволяет добавлять пять запросов и фолловить по 5 человек за раз по каждому запросу. То есть по 25 человек в сутки, вполне достаточно. Не стоит говорить, что это должны быть ваши целевые запросы. Поставьте галочки — unfollow если не зафолловят в ответ.

После всех проделанных манипуляция, у вас должен получится автонаполняемый твиттер аккаунт, который будет постепеннно обрастать фолловерами. Следует отметить, что все это работает только для английского языка.

Originally posted 2010-02-06 15:13:46. Republished by Vancouver Web Design

Safari CSS хак

Для того чтобы определенное правило обрабатывалось только в Safari используем следующее хак


@media screen and (-webkit-min-device-pixel-ratio:0)

{
#div {margin-left: 10px;}
}

другой пример

<code>@media screen and (-webkit-min-device-pixel-ratio:0) {
 .b-hat .b-login-box .b-field input {
 width: 110px;
 }
 }</code>
<code>

У кого какие идеи по этой теме оставляем в коментах.

Originally posted 2011-03-14 23:12:00. Republished by Vancouver Web Design

CSS хаки для Internet Explorer

Продолжаем изучение хаков для Internet Explorer. Занимаясь html версткой приходится сталкиваться с багами IE. Появляется необходимость задания дополнительных инструкций CSS. Такие инструкции часто называют хаками. Вот примеры инструкций для IE свойства height:

* height: 10px; /* этот CSS хак увидит только IE */

_height: 10px; /* эту инструкцию воспримут только IE 5.5 и IE 6.0 */

_heig\ht: 10px; /* а этот CSS хак увидит только IE 6.0 */ 

Примеры хаков IE для свойства display:


_display: none;

_disp\lay: block; /* только IE 5.5 не отобразит блок */ 

На самом деле CSS хаки это плохо, так как код не проходит валидацию. Если Вам хочется, чтобы код был валидным, используйте условные комментарии.

Originally posted 2010-05-13 15:07:17. Republished by Vancouver Web Design

Плагин WP-NoRef для WordPress

Плагин WP-NoRef предназначен для закрытия индексации всех внешних ссылок от индексации тегом noindex для Яндекса и атрибутом nofollow для Google.

Плагин подойдет для тех кто хочет уменьшить кол-во исходящих ссылок на сайтах продающих ссылки.

Запрет индексации добавляется к ссылкам как в постах, так и комментариях

Originally posted 2010-01-15 13:23:58. Republished by Vancouver Web Design

Double Translator WordPress плагин

Double Translator WordPress Plugin

Double Translator

Очень полезный плагин для любителей автоматической генерации/уникализации текста.

Double Translator – автоматический переводчик текстов под WordPress.

Переводчик может работать в двух режимах:

  1. Перевод текста с одного языка на другой
  2. Двухсторонний перевод, например, Русский-Английский-Русский

Выбор языковой базы достаточно велик, используется переводчик от гугла. Второй вариант можно использовать в качестве рерайтера, на некоторых текстах получается весьма неплохо.

Статья переведется автоматически во время публикации поста, отдельной кнопки для перевода нет.

[ Скачать Double Translator WordPress Plugin

Originally posted 2010-04-26 05:23:52. Republished by Vancouver Web Design

Ошибка 404 Создание Правильной Страницы

C помощью станицы 404 ошибки можно хорошо собирать трафик. По статистике 20-30% посещений приходится на страницу ошибки 404.
Сделай это можно несколькими методами.
Для начала вам конечно же нужно создать файл для ошибки 404(да и для остальных тоже не помешает), если вы конечно это еще не сделали.
Далее редактируем файл 404.php
Первый способ это просто редирект на главную или любую другую страницу. Делается это с помощью js кода.
Второй способ – можно выводить рекламу на странице ошибки. Полюбому кто-то клацнет :)
третий способ – вывод списка постов, может найдутся желающие просмотреть интересные посты.

Originally posted 2010-01-15 13:49:46. Republished by Vancouver Web Design

Исправляем CSS баги Internet Explorer

<!--[if IE]-->

Различные margins, paddings и размеры элементов странитцы могут отображаться в Internet Explorer по разному. Следующий код поможет нам в решении этого Internet Explorer бага.

Поместим следуюший код в заголовок нашей странитцы.

<!--[if IE]>
<style>
.item {
margin: 5px;
padding: 10px;
}
</style>
<![EndIf]-->

Эти настройки будут загружены, если используется Internet Explorer для просмотра странитцы.

Центрирование при помощи margin:auto

Когда используется margin-left:auto и margin-right:auto для выравнивания элементов по центру, это не работает в Internet Explorer как в Firefox. В этом случае нам поможет исправить ситуацию следующий код.

html, body {
text-align: center;
}

Не забываем также добавить для параграфов правило выравнивания по левому краю.

p {text-align: left;}

Проблема минимальной высоты в IE

При попытке создания div, высота не уставливается меньше около 12px.
Для решения этого бага, просто добавляем следующий атрибут для нашего div.

{line-height: 0px;}

Если это не срабатывает помещаем внутри div элемени p и назначаем ему line-height: 0px;
Наш код должен быть примерно таким.

<div style="line-height: 0px; height: 5px;"></div>
<div style="height: 5px;"><p style="line-height: 0px;"></p></div>

Originally posted 2010-05-12 02:28:29. Republished by Vancouver Web Design

Yahoo Pipes список русскоязычных ресурсов

Недавно начал изучать Yahoo Pipes. Впечатляет. С наименьшими затратами можно делать неплохие RSS ленты. Предсталяю вашему вниманию список русскоязычных ресурсов Yahoo Pipes.

Полный мануал по Yahoo Pipes – платный полный перевод Yahoo Pipes

Блог Тормоза –   Yahoo Pipes

Форум Master-pipes.ru – несколько статей

Arseblog.com –  собрание знаний по Yahoo Pipes

Simplecoding.org – крупицы знаний

Splogmaster.ru – есть что почитать

Ibm.com – Видео-мануал по созданию труб

Way-blogger.blogspot.com – есть что почитать

Блог Евгения Павлова – материал Евгения Павлова

Блог Р_Джинс – нюансы

Охотник на зеленых – крупицы знаний по трубостроению

Блог seo-kamensk – крупицы знаний

Intrex blog – есть что почитать

Блог Вована – примеры труб

Записки Жука – примеры труб

Блог VRJJ – неплохие заметки

Блог Jobday – от Jobday

Конструктор регулярных выражений

Originally posted 2010-05-15 14:19:09. Republished by Vancouver Web Design