Текст книги "Интернет-разведка. Руководство к действию"

Автор книги: Евгений Ющук

сообщить о нарушении

Текущая страница: 9 (всего у книги 21 страниц) [доступный отрывок для чтения: 9 страниц]

Мониторинг изменений на сайтах в Интернете

Ни специалисту конкурентной разведки, ни сотруднику отдела маркетинга или сбыта недостаточно просто знать, на какой страничке Интернета содержится нужная информация. Надо иметь возможность своевременно и точно отслеживать изменения на этой страничке. Каждый может себе представить, насколько сложна, а чаще всего и вовсе неосуществима эта задача. Вряд ли даже самый внимательный и скрупулезный человек в состоянии быстро и точно оценить изменения в тексте – скажем, в прайс-листе, – занимающем пять страниц.

Для решения подобной проблемы несколькими компаниями разработано специальное программное обеспечение – так называемые «сторожевые роботы»: ознакомившись со страницей, они сохраняют ее образ в своей базе данных, а при повторном посещении сравнивают актуальное состояние ресурса с этим образом. Программа отмечает изменившиеся места, которые становятся похожи на выделенные маркером фрагменты текста на бумажном носителе. Более того, удаленние кусков материала также фиксируется многими программами данной категории – как правило, внизу страницы, дабы не мешать восприятию человеком информации. «Сторожевые роботы» могут запускаться пользователем вручную, а могут и работать автоматически, по расписанию.

Предлагаем рассмотреть эти программы более подробно.

Сторожевой робот WebSite-Watcher

Программа выпущена в Германии, ее официальный сайт – http://www.aignes.com. Стоимость продукта составляет около 40 долл. США за индивидуальную лицензию. Кроме того, пользователю дается 30-дневная полнофункциональная версия, дабы он успел удостовериться в необходимости ему этого продукта. Заплатить за WebSite-Watcher требуется лишь один раз, после чего все обновления становятся доступны бесплатно и на неограниченный срок.

Интерфейс программы поддерживает русский и украинский языки, однако раздел «Помощь» до выхода в свет версии 4.06 был написан на английском. После появления версии 4.06 на сайте программы по адресу http://www.aignes. com/wswtrans.htm стал доступен exe-файл (wswhelp_russian.exe), который присоединяет к WebSite-Watcher справочную информацию на русском языке. Работа с русским языком не вызывает у программы никаких проблем. Продукт довольно часто обновляется. Так, на момент написания книги была доступна версия 4.10.

WebSite-Watcher работает как клиент на компьютере пользователя. Это значит, что все закладки и конфигурации хранятся локально на жестком диске компьютера и сервер хозяина не участвует в процессе поиска. Производитель утверждает, что выход в Интернет требуется продукту лишь для посещения страниц, проверяемых пользователем.

Что же может проверять программа?

Любые web-страницы с текстовым содержанием, независимо от расширения файла. То есть статичные страницы (с расширением файла. htm или. html) и динамичные страницы (с расширением. asp,php и так далее). WebSite-Watcher также выделит цветом все изменения в тексте.

RSS/Atom feeds. Страницы RSS/Atom преобразовываются в читаемый html-формат и могут обрабатываться как обычные web-страницы.

Страницы, защищенные паролем. Для таких страниц вы можете записать макрокоманду, после автоматического выполнения которой ресурс будет проверен на обновление.

Форумы. Они обрабатываются как обычные страницы с небольшой оптимизацией, например, специальной технологией подсветки изменений.

Страницы с Javascript. Для таких страниц WebSite-Watcher поддерживает отдельную и более сложную технологию преобразования динамически сгенерированного содержания ресурса в статичное содержание.

Изображения. Если Вы отслеживаете изображение, WebSite-Watcher способен обнаружить его обновление. Изменения в изображении не подсвечиваются.

Двоичные (бинарные) файлы. WebSite-Watcher может обнаруживать обновление двоичных файлов (например, файлы zip или exe) сравнением даты документа, его размера и/или части его содержания (двоичные файлы не будут полностью загружаться при проверке на обновление).

Файлы PDF и Flash. Они обрабатываются как двоичные файлы. WebSite-Watcher не подсвечивает изменения в их содержании.

FTP-файлы и каталоги. WebSite-Watcher поддерживает отслеживание таких документов и каталогов. FTP-файлы могут проверяться по их дате/размеру или содержанию.

Интранет. Все страницы в сети Интранет могут быть проверены подобно обычным web-страницам.

Локально хранящиеся файлы. WebSite-Watcher может отслеживать любой файл на вашем жестком диске.

По крайней мере, такие данные приводит сам производитель.

После того, как WebSite-Watcher установлен и запущен на компьютере, в правом верхнем углу всех наиболее распространенных браузеров (в частности, Internet Explorer, Mozilla Firefox, Opera) появляется значок программы, представляющий собой стилизованный глаз.

Добавление закладки в перечень закладок может производиться двумя способами.

1. Непосредственно из браузера.

Таким образом можно добавить к закладкам ту страницу, которая в настоящий момент загружена в браузере. При щелчке любой кнопкой мыши по значку WebSite-Watcher в правом верхнем углу браузера появляется всплывающее меню, первый пункт которого «Добавить в закладки». После того, как выбирается этот пункт, появляется следующее окно, в котором URL страницы уже автоматически внесен в соответствующее поле. Вам остается лишь ввести ее имя вручную (причем оно не имеет никакого значения для компьютера и служит только для того, чтобы можно было определить, для чего та или иная закладка нужна, потому и назначается пользователем произвольно). Версия 4.10 позволяет обойтись даже без ручного ввода названия страницы, поскольку программа может автоматически брать это название на самом ресурсе.

Внимание: после того, как URL страницы и имя закладки внесены в это окно, требуется нажать клавишу «ПРОВЕРИТЬ!», а НЕ кнопку «ОК». В этом случае WebSite-Watcher отправится на страницу и сохранит в своем архиве ее образ, с которым и будет при следующем посещении ресурса проводить сравнение. В главном окне программы WebSite-Watcher после этого напротив имени закладки появится надпись «ОК, инициализировано».

Если же пользователь выберет кнопку «ОК» вместо кнопки «Проверить!», то программа сохранит закладку в меню, однако посещать страницу не будет и, соответственно, не будет и сохранять в архиве ее копию.

2. Из главного меню программы WebSite-Watcher.

Для этого надо открыть окно добавления новой закладки, щелкнув либо по второй слева кнопке на верхней панели программы (она называется «Мастер» и выглядет как жезл с икрящимся наконечником), либо по третьей слева кнопке в той же панели (она называется «Новая закладка» и выглядит как лист бумаги с размещенным на нем знаком «плюс»). Нажатие кнопки «Мастер» предпочтительно, когда проверяемая страница защищена паролем, поскольку там предусмотрен макрос, позволяющий вводить этот пароль автоматически. В остальных случаях лучше воспользоваться командой «Добавить закладку».

Программа WebSite-Watcher позволяет проверять изменения на странице как вручную, так и автоматически.

Организуются новые папки и подпапки для систематизации закладок также очень легко, а перемещаются в новые места простым перетаскиванием их их мышью.

Кроме того, в программе предусмотрены фильтры, которые позволяют исключать из проверки определенные строки (например, постоянно меняющиеся время или дату в углу страницы либо афоризм, который некоторые оптимизаторы сайтов любят постоянно менять на своем ресурсе). Использование фильтров помогает исключать неинформативные сообщения о наличии изменений на странице.

Архивирование страницы непосредственно в программе WebSite-Watcher не предусмотрено, однако производитель вместе с программой WebSite-Watcher поставляет бесплатную программу Local WebSite Archive, которая как раз и создает архивную копию странички Интернета. При этом Local WebSite Archive может запускаться из того же меню, встроенного в браузер, что и WebSite-Watcher.

Подробное описание этих и других возможностей WebSite-Watcher приведено в разделе «Помощь» этой программы, поэтому детально останавливаться на них мы не будем.

И напоследок нам хотелось бы отметить, что существует форум (http://www.aignes.com/forum/), где обсуждаются проблемы программы WebSite-Watcher и способы их преодоления. Форум, к сожалению, англоязычный, но он приносит реальную пользу, когда не понятно, как поступить в том или ином случае, либо когда требуется отыскать нужную функцию, не вынесенную в главное меню программы. Хотим поблагодарить его участников, советы которых неоднократно помогали нам в работе.

Программа Copernic Tracker

Эта программа может быть скачана из Интернета по адресу: http://www.copernic.com/en/products/tracker/index.html.

К сожалению, Copernic Tracker, как и другие продукты компании, пока что плохо работает с русскими шрифтами, поэтому интересен, главным образом, для тех, кто проводит мониторинг европейских и американских сайтов. Тем, кто интересуется русскоязычными страницами, лучше сразу перейти к описанию следующей программы.

Однако мы не сочли возможным обойти его вниманием, поскольку продукты Коперник – наиболее доступное программное обеспечение, позволяющее автоматизировать работу с сайтами, которые написаны на языках, основанных на латинском алфавите.

Производители Copernic Tracker отмечают следующие его возможности:

– мониторинг сайтов с целью поиска изменений в тексте и отслеживания новых изображений;

– предоставление уведомлений об изменениях на интересующих пользователя сайтах не только на рабочий стол компьютера, но и по электронной почте, а также по мобильному телефону;

– выделение цветом изменений на странице;

– осуществление автоматической проверки страниц по расписанию – ежедневно, еженедельно и даже ежеминутно;

– просмотр конкретных ключевых слов на странице;

– архивирование разных версий просмотренных страниц;

– просмотр одним щелчком мыши изменений страницы, которая загружена в данный момент в браузер.

На наш взгляд, практический интерес представляет способность отправлять оповещение об изменениях на страницах в Интернете на адрес электронной почты или мобильный телефон. Эта функция может быть полезна всем пользователям. А вот разрекламированные возможности программы отслеживать новые рисунки мы в ходе тестирования обнаружить так и не смогли. Нами, в частности, был поставлен на мониторинг сайт новостей от BBC. Картинки на ресурсе менялись регулярно, располагаясь при этом в одних и тех же местах, и Copernic Tracker, исправно сообщающий об изменениях в тексте, никоим образом на манипуляции с изображениями не реагировал. А жаль, поскольку способность отслеживать изменения баннеров, например, очень востребована рекламными компаниями.

В остальном программа очень похожа на вышеописанную.

На момент написания книги пользователям был доступен только англоязычный интерфейс, в отличие от русскоязычного WebSite-Watcher. Функция запуска Copernic Tracker непосредственно из браузера работает не из любого распространенного браузера, как это было возможно в случае с программой WebSite-Watcher, а лишь из Internet Explorer.

Стоимость Copernic Tracker – примерно 50 долл. США. На сайте производителя возможно скачать демонстрационную 30-дневную версию, и еще 30 дней даются покупателю на принятие окончательного решения о целесообразности приобретения, поскольку на Copernic Tracker распространяется обычная для программного обеспечения Copernic практика гарантии возврата денег в течение указанного срока, если пользователя по каким-то причинам продукт не устроит.

Программа Check & Get

Это отечественный продукт. Преимущество такой программы заключается не только в корректной поддержке русского языка, но и в возможности ее приобретения за российские рубли (что выступает решающим аргументом для крупных предприятий, в особенности – государственных, где использование иностранной валюты для оплаты товаров или услуг затруднительно), а также в доступности создателя продукта, если у вас появляются к нему вопросы. Причем техническая поддержка при этом также русскоязычная, в отличие от программ-конкурентов.

Мы подтверждаем, что Дмитрий Скорняков (press@activeurls.com) – человек, который создал и поддерживает программу Check & Get, действительно всегда готов помочь разобраться с проблемой, если таковая возникает. Так, автор этой книги сталкивался с ситуацией, когда ни одна из приведенных здесь программ не могла отслеживать изменения на сайте одного из российских университетов. Попытавшись понять причины этой проблемы, в бессилии расписались как создатели и администраторы проблемного сайта, так и служба технической поддержки WebSite-Watcher. И только Дмитрий Скорняков внимательно изучил тот проблемный сайт, разобрался в причинах возникшей ситуации и дал рекомендации, которые позволили устранить проблему. На наш взгляд, это немаловажное обстоятельство, говорящее в пользу программы Check & Get.

Скачать ее можно по адресу: http://activeurls.com/ru/download.php.

Вот что говорит о возможностях продукта его создатель.[9]9
  Сайт программы Check&Get http://activeurls.com/ru/news.htm.


[Закрыть]

При обнаружении на веб-странице новой информации, Check&Get автоматически сохраняет «снимок» этой страницы в локальную базу данных и информирует Вас указанным Вами способом. Check&Get может послать вам сообщение электронной почты с содержанием измененной веб-страницы, при этом, изменения на странице будут «подсвечены» для их легкой идентификации. Также, программа может вывести сообщение на экран или проиграть звуковой файл, информируя Вас об изменениях.

Check&Get автоматически извлекает названия и описания веб-страниц при создании Закладки, проверяет вашу коллекцию на наличие «мертвых» ссылок, находит дублирующиеся ссылки в вашей коллекции закладок. Check&Get работает с Internet Explorer, Netscape, Mozilla, Opera, позволяя вам импортировать, экспортировать, и синхронизовать закладки. Благодаря этому, вы всегда имеете в выбранном браузере актуальную и организованную коллекцию ссылок.

Список ссылок также может быть импортирован и добавлен к вашим Закладкам из буфера обмена Windows, окна браузера, HTML файла или офисного документа. В дополнение ко всему, Check&Get позволяет конвертировать вашу коллекцию Закладок в файл HTML с легкой и удобной навигацией. Это дает вам возможность опубликовать свои Закладки на веб-сайте или создать в Интернет свой мини-портал буквально за пару минут.

Приведем перечень функций программы, также взятый на ее официальном сайте (рис. 18).[10]10
  Сайт программы Check&Get http://activeurls.com/ru/features.htm.


[Закрыть]

Интуитивный и простой в использовании интерфейс на русском языке с поддержкой функций Drag & Drop.

Поддержка «визуальных схем».

Возможность проверки веб-страниц в ручном или автоматическом режиме на наличие изменений.

Поддержка протокола SSL.

Одновременная проверка веб-страниц.

Расширенные функции поиска закладок и веб-страниц по общим полям (имя, описание, ключевые слова). Также возможен поиск по сохраненному содержанию веб-страниц.

Встроенный браузер с поддержкой онлайнового и автономного (offline) режима.

Подсветка изменений на веб-страницах, что позволяет легко идентифицировать новое содержание.

Выбор пользователем режима оповещения об изменениях веб-страниц: по электронной почте (включая содержание страницы с подсвеченными изменениями), оповещением на экране пользователя, проигрыванием звукового файла.

Автоматическое сохранение «снимков» веб-страниц с возможностью их просмотра в автономном режиме. Позволяет изучить изменение ресурса за указанный промежуток времени.

Возможность открытия закладок в любом внешнем браузере (автоматически определяемые браузеры: Internet Explorer, Netscape, Mozilla, Opera, MyIE2, Avant Browser, etc.).

Импорт закладок из Internet Explorer, Opera, Netscape, Mozilla.

Экспорт закладок в Internet Explorer, Opera, Netscape, Mozilla.

Синхронизация закладок с Internet Explorer, Opera, Netscape, Mozilla.

Захват ссылок из буфера обмена Windows.

Расширенные возможности импорта ссылок из буфера обмена, окна браузера, текстовых или HTML-файлов, офисных документов или любых других материалов, даже если они имеют неизвестный формат.

«Мастер очистки Дублирующихся Ссылок», который позволяет обнаружить и вычистить дубликаты в коллекции закладок.

Обнаружение «мертвых ссылок».

Поддержка постоянного (локальная сеть/выделенная линия) или сеансового (коммутируемый модем) соединений с Интернет; функции авто-дозвона, авто-отсоединения от Интернет.

Автоматическая загрузка программы при старте Windows, работа в системном лотке.

Использование в коммерческих целях или внутри компании.

Рис. 18. Check&Get главное окно и оповещение об изменении на странице.

На наш взгляд, способность программы импортировать все закладки или их часть в HTML-файл – интересная находка автора. В ряде случаев эта функция открывает очень полезные возможности. Такой файл может быть использован на сайте как страница с работающими гиперссылками. Причем если его обработать в любом редакторе HTML-файлов, например, в Frontpage или в Dreamweaver, то можно снабдить первоначальный документ необходимыми текстовыми пояснениями или иллюстрациями.

Кроме того, Check&Get позволяет одним кликом мыши извлечь все гиперссылки, которые есть на странице.

Полезна и функция удаления «мертвых» и дублирующихся ссылок.

А вот возможность по автоматическому занесению в закладки страницы, с которой пользователь пытается копировать текст, заложенную в программу по умолчанию, на наш взгляд, нельзя однозначно отнести к достоинствам продукта. По крайней мере, начинающим пользователям эта функция скорее досаждает, нежели облегчает их работу: на практике эта теоретически полезная способность программы проявляется в возникновении всплывающего окна всякий раз, когда вы всего лишь копируете фрагмент текста со страницы в буфер обмена (даже если вы вообще не планируете ничего ставить на мониторинг, а собираетесь, к примеру, просто скопировать часть документа, чтобы сохранить его в текстовом файле). Это всплывающее окно предлагает внести в закладки адрес страницы, и его каждый раз приходится закрывать вручную. В принципе, Check&Get предусмотрена возможность зайти в меню и отключить эту опцию, однако для начинающего пользователя обычно и столь, казалось бы, примитивная операция представляет немалую сложность.

Существует 30-дневная ознакомительная версия программы.

Стоимость персональной лицензии продукта при расчете наличными составляет около 600 рублей. Иностранные покупатели платят цену примерно вдвое большую, сопоставимую со стоимостью зарубежных программ-конкурентов.

Онлайновый сервис Infominder

Можно считать неизменной тенденцию к развитию онлайновых сервисов, которые если не полностью вытесняют, то, по крайней мере, дублируют программное обеспечение, устанавливаемое непосредственно на компьютере. А потому появление таких интернет-услуг, которые обеспечивали бы контроль содержимого страниц, было вполне логичным. Arthur Weiss.[11]11
  Arthur Weiss «Secondary Source Information», материалы тренинга на Десятой Европейской конференции SCIP, Лондон, 2005 г.


[Закрыть] рекомендует пользоваться ресурсом Infominder, который расположен по адресу: http://www.infominder.com/webminder

30-дневная бесплатная версия сервиса позволяет проводить мониторинг изменений на веб-ресурсе один раз в день, ограничивая при этом количество просматриваемых страниц десятью. Платный сервис обеспечит проверку изменений до четырех раз в день. Стоимость услуги зависит от количества поставленных на мониторинг страниц. На момент написания книги годовой платеж за 20 страниц составлял 9 долл. США, за 100 страниц – около 25 долл., за 250 страниц – около 50 долл., за 500 страниц – порядка 99 долл. и за 1000 страниц – 179 долл.

Независимо от того, какой версией пользуется клиент, он может получать уведомления об изменившихся страницах двумя способами: лично посетив свою страницу на сайте Infominder и введя при этом логин и пароль, либо запросив отправку соотвествующих сообщений по электронной почте. Последнее требует заполнения расширенной (Advanced) формы при добавлении новой закладки, приведенной на рис. 19.

Онлайновый сервис ChangeNotes

Сервис расположен по адресу http://www.changenotes.com.

В принципе, существует возможность бесплатной постановки на мониторинг изменений на сайтах общим числом до 100 контролируемых страниц, а при том, что учет ведется по адресу электронной почты подписчика, мы бы сказали, что, скорее, кратно ста страницам. Оповещение пользователя производится один раз в день.

Однако, как показывает практика, нередко поставщики бесплатных услуг не несут никакой ответственности в случае сбоев в работе. Кроме того, они не отвечают и за качество предоставленного сервиса. Хотим оговориться: к ChangeNotes (рис. 20) это опасение, вполне возможно, и не имеет никакого отношения. Потому мы и обращаемся к описанию этого сервиса, и в то же время считаем своим долгом напомнить читателю о возможных подводных камнях, когда дело касается установки бесплатных программ. Так что делайте выводы.

Рис. 19. Расширенное меню добавления страницы в Infominder.

Рис. 20. Онлайновый сервис ChangeNotes