Текст книги "Яндекс для всех"

Автор книги: М. Абрамзон

сообщить о нарушении

Текущая страница: 16 (всего у книги 37 страниц) [доступный отрывок для чтения: 16 страниц]

3.1.5. Немного истории, или Новости в лицах

Прежде чем перейти к следующей возможности, предоставляемой Новостями, немного истории. Предвестником пресс-портретов на Яндексе были Новости в лицах. Это одна из немногих разработок, выполненная сотрудниками Яндекса совместно со сторонней компанией. Соисполнителем разработки была компания «Интегрум» (http://www.integrum.ru/), крупнейший в мире электронный архив русскоязычных документов.

О том, как проводилась работа и с какими сложностями пришлось столкнуться разработчикам, рассказал один из создателей сервиса Лев Гершензон (http://company.yandex.ru/blog/?msg=100050&month=8&year=2005).

Идея делать автоматические именные указатели была навеяна журналом «Власть» и его «Лицами, упомянутыми в номере». Поскольку журналов, газет и прочих поставщиков текстовых документов в «Интегруме» больше трех тысяч, мы решили не мелочиться и сделать подобный именной указатель, но один для всех источников и полностью автоматический.

В большинстве случаев (малочисленные путины, фрадковы, грефы – не в счет), один человек за короткий промежуток времени (1–3 дня) упоминается как участник одного события. Мне показалось, что рубрики и сюжеты Яндекс. Новостей станут интереснее, а главное, читатель сможет быстрее и лучше понять, что к чему, если применить к ним ту же технологию.

Главной особенностью программы является отсутствие какого бы то ни было заранее заданного списка людей – новые несловарные фамилии автоматически определяются и приводятся к словарной форме по специфическому контексту (имя, инициалы и др.). Кроме того, с высокой точностью разграничиваются однофамильцы и разрешается родовая омонимия (ср. Валентина Матвиенко, Александра Лебедева – мужчина или женщина?).

А вот, например, с какими проблемами и ошибками пришлось столкнуться.

• Имена омонимичны обычным словам. В самом начале в "Сегодня в лицах" фигурировали такие персонажи: Гера Советского, Вячеслав Богу, Надежда Доброй.

• Фамилии могут совпадать с отчествами. Бывшие бизнес-партнеры Борис Абрамович Березовский и Роман Аркадьевич Абрамович и в придачу президент компании "КрасЭйр" Борис Михайлович Абрамович доставили нам немало хлопот.

• Некоторые фамилии склоняются, некоторые нет. И если их нет в словаре, по их внешнему виду (по буквам) понять, к какому типу относится фамилия (и если склоняется, то как) далеко не всегда удается. Ардзинба и Анкваба. Поняли, что первая фамилия в именительном падеже, а вторая – в родительном? А так похожи.

• Мужские и женские имена тоже очень часто имеют общие формы (см. ранее).

• Есть такие народы, в которых одного имени человеку недостаточно. Мы этого не понимаем и ошибаемся. Без энциклопедического багажа совершенно не понятно, сколько человек тут упомянуто: Джон Рональд Руэл Толкиен.

Как бы то ни было, но сервис Новости в лицахбыл создан, и через год после начала разработки был предъявлен посетителям. Сейчас этот сервис не выделяется отдельной страницей, как было при его создании, но превратился в поставщика информации для блоков Сюжеты в лицах.

Главной особенностью программы, анализирующей тексты новостей, является отсутствие заранее заданного списка персон – при обработке сообщения программа самостоятельно находит в тексте имена и фамилии и добавляет их в рейтинг.

Списки имен создаются отдельно для каждой рубрики, региона, сюжета и результатов поиска. Таким образом, пользователь может наблюдать, как меняется состав лиц, о которых пишут журналисты, от Нижнего Новгорода к Иркутску, кто сегодня является наиболее заметной фигурой спортивной сферы, а кто – культурной.

Рейтинги обновляются каждые 10 минут – одновременно с появлением новых сообщений на Яндекс. Новостях, – что позволяет быстро находить упоминания ньюсмейкеров в актуальных сюжетах. Списки имен представлены на всех страницах службы, когда данные позволяют набрать достаточную статистику.

Отзывы об этом сервисе превзошли все ожидания, захотелось двигаться дальше, и тогда появились пресс-портреты.

3.1.6. Пресс-портреты в Новостях

Читая новость о каком-либо событии, зачастую, если в тексте упоминается какой-либо человек, хочется узнать о нем побольше. Кто он такой, чем и когда занимался, какого его отношение к различным событиям. Самостоятельно собрать подобные сведения об интересующем вас человеке довольно сложно, для этого придется проводить обширный поиск нужной информации.

Яндекс. Новости решил выполнить эту работу за нас. Теперь в составе Новостей появился дополнительный сервис – пресс-портреты. Вот как было написано в пресс-релизе по поводу открытия этого сервиса:

В пресс-портрете на сегодняшний день представлено три типа сведений о человеке: свободные определения человека, послужной список и цитаты. Свободные определения – это звания (полковник, доцент), ученые степени (доктор экономических наук), профессии (литературный критик, известный адвокат) и любые другие описания (хороший семьянин, старый знакомый Маши Ивановой, самый богатый человек в мире). В послужной список входят факты, состоящие из названия организации (Юкос, Министерство экономического развития) и должности (президент, генеральный директор, секретарь), которую человек в ней занимал, занимает (или займет в будущем). В третьем блоке содержатся цитаты человека и цитаты о нем других людей. Каждый факт снабжен текстовой иллюстрацией фрагментом новостного сообщения, из которого была извлечена информация. Кроме того, для каждого факта можно получить все его упоминания в Яндекс. Новостях.

Справочная часть службы Яндекс. Новости состоит более чем из 1 млн пресс-портретов, 30 тыс. из которых обновляется ежедневно. Новостная служба Яндекса была открыта семь лет назад, поэтому большая часть пресс-портретов создана на основе анализа сообщений СМИ с 2000 года, в настоящее время к службе подключаются архивы новостных источников за предыдущие годы, что повышает полноту и точность сервиса.

Как и все остальные работы в Новостях, формирование пресс-портретов выполняется полностью автоматически. Поэтому одной из проблем является создание пресс-портретов для однофамильцев, когда совпадают еще и их имена и фамилии. Поэтому идеальный результат, когда одному человеку соответствует один пресс-портрет, получается не во всех случаях.

Примером может служить поиск человека Иван Иванов. На странице результатов поиска, помимо сюжетов и новостей, приведены ссылки на упоминающихся в этих новостях лиц. Но в списке наиболее известных лиц Ивана Иванова нет. Впрочем, под списком ведущей пятерки есть ссылка на все пресс-портреты, относящиеся к этому поиску, а их 93. Перейдя по этой ссылке, увидим список, в котором "Иван Иванов" встречается на первой странице, затем еще несколько раз в продолжении этого списка.

Искать людей можно не только по фамилии (например, Черномырдин или Михаил Булгаков), но и по названию организации (например, Антей, ibm или Палата лордов) – в этом случае будут найдены все, кто, по сведениям СМИ, имеет или имел к ней отношение.

Миллион пресс-портретов – величина весьма впечатляющая. Но вместе с тем нельзя ожидать, что каждый пресс-портрет содержит все информационные блоки, о которых говорилось выше. Встречаются люди, о которых известно лишь место работы либо упоминание в прессе, без привязки к месту работы, поэтому такая информация входит в блок общих сведений.

Жаль, что отсутствует возможность поиска среди этих подборок, поэтому приходится для поиска пресс-портретов выполнять поиск по фамилии человека, а затем через блок Упомянутые лицанаходить нужную информацию.

Возвращаюсь заново к тексту этого раздела через месяц с тем, чтобы дополнить уже написанное. Опять подтверждается, что о Яндексе писать очень сложно, здесь постоянно появляется что-то новое и написанное вчера сегодня становится уже неточным. Так произошло и с разделом пресс-портретов.

Найдите на новостной странице ссылку Пресс-портреты. Она расположена под строкой поиска. Перейдя по ссылке, вы откроете страницу (рис. 3.8), на которой представлена информация о назначениях и отставках, состоявшихся на текущую дату, список наиболее упоминаемых в новостях личностей и список людей, отмечающих сегодня свой день рождения. И уже дальше, перейдя по ссылке с фамилии упомянутого человека, вы попадете на страницу его пресс-портрета.

3.1.7. Цитаты в Новостях

Как отделить слухи от фактов? Если новость, о которой вы хотите узнать, является ли она официальной или это действительно слух, подтверждается высказыванием чиновника или лица, заслуживающего доверия, вы будете считать ее фактом. А как можно быстро найти официальное подтверждение той или иной новости? Только поиском, который поможет отыскать официальные высказывания, если они существуют.

Служба Яндекса Цитаты в новостях (http://opinion.news.yandex.ru/)выполняет это за вас. Эта служба позволяет искать высказывания людей в сообщениях СМИ. Самые популярные и наиболее цитируемые высказывания за последние сутки представлены на главной странице сервиса. Фактически, цитаты отражают картину наиболее значимых событий дня, дают ее с точки зрения главных действующих лиц.

В основе технологии выделения цитат лежит синтаксический анализатор и модуль обработки предикативных конструкций с коммуникативными глаголами и оборотами. Выделяется как прямая речь в кавычках, так и косвенная речь, выраженная придаточными предложениями ("Иванов отметил, что…") и вводными оборотами ("по словам Иванова…"). Использование результатов извлечения всех фактов о человеке и полный анализ всего новостного сообщения позволяют с высокой точностью различать однофамильцев при определении автора высказывания, даже если в предложении с цитатой никакой дополнительной информации, кроме имени и фамилии, указано не было.

Поиск (рис. 3.9) можно вести по нескольким направлениям. Для этого строка поиска разделена на две части. В первую вписывается фамилия человека, чьи высказывания вы хотите найти, во вторую то, на какую тему вы ищете высказывания. Если заполнить только первое поле, будут показаны все выбранные из СМИ цитаты конкретного человека. Если только второе – будут подобраны высказывания всех людей по данной теме. Впрочем, просматривать цитаты отдельного человека можно и со страницы его пресс-портрета, где на первой странице публикуются его последние высказывания, а по ссылке можно перейти ко всем цитатам, имеющимся в распоряжении Яндекса.

Поиск цитат (рис. 3.10) может послужить основой для сбора всевозможных несуразиц, которые допускали в своих выступлениях или интервью известные личности. База для этого обширная – если пресс-портретов насчитывается свыше миллиона, то количество цитат достигает уже четырех миллионов от более чем 630 тыс. авторов.

Обратите внимание еще на один блок, расположенный на главной странице сервиса. В правой колонке приводятся фамилии наиболее цитируемых за текущий день людей. В этой колонке их только 10, но можно увидеть и весь список людей, привлекших внимание к своим выступлениям.

3.1.8. Новости регионов

Новости, публикуемые в различных изданиях, имеют свою территориальную привязку. Это могут быть новости, связанные с местом их возникновения, хотя касаются общемировых вопросов, это могут быть новости, связанные с событиями отдельного города или поселка. Для жителей региона местные новости не менее интересны и востребованы, чем новости общероссийские или мировые.

Продвижение Яндекса в регионы, не единичное, а массовое, началось в 2004 году. В этом время появились товарные предложения региональных магазинов на Маркете, возможность ограничить поиск по своему региону, прогноз погоды по 700 городам России и мира, телевизионная программа в местном времени. Появились и региональные новости.

На момент написания этих строк количество регионов, по которым в автоматическом режиме формируются сюжеты, достигло 59 (рис. 3.11). Среди них 46 регионов России, 9 регионов Украины, а также Беларусь, Израиль, Казахстан и страны Балтии. По мере привлечения новых информационных партнеров из регионов (а это является обязательным условием выделения в общем потоке региональных новостей), будут появляться и новые региональные подборки.

Яндекс периодически публикует карту охвата регионов. На ней видны как регионы, имеющие свое представительство в Яндекс. Новостях, так и пока еще не имеющие их. На карте видно, что чем ближе к Москве, тем беднее информационное поле. Центральный и Приволжский федеральные округа заполнены на 40 %, причем отдельно Центральный – всего на 23 %, в то время как регионы остальных пяти округов охвачены на 60–70 % каждый. И только в СЗФО каждый регион имеет свою страницу на Яндекс. Новостях.

Страницы регионов автоматически строятся по принципу, общему для всех категорий Яндекс. Новостей. Региональные подборки новостных сообщений (сюжеты) формируются компьютерной программой из материалов центральных и региональных СМИ. Важность сюжета определяется с учетом актуальности и количества сообщений по теме, а также интереса пользователей.

Как выбрать новости региона? Это можно сделать двумя способами. Во-первых, используя расширенный поиск, в котором можно выбрать один или несколько регионов, новости которых вы хотели бы увидеть. Во-вторых, перейдя со ссылки Новости регионовна главной или тематической странице новостей. Этот переход откроет страницу, где перечислены все доступные регионы. Выбор любого из них (здесь можно выбрать только один из доступных регионов, в отличие от расширенного поиска) позволит выделить из общего потока новостей лишь те, которые имеют отношение к выбранному региону.

3.1.9. Новости в блогах

Давно известно, что новости не только публикуются, но и обсуждаются. Обсуждаются на форумах, обсуждаются в блогах. И мнения, которые там высказываются, зачастую бывают много интереснее опубликованных в официальных СМИ или иных изданиях. Недаром многих людей, ведущих свои блоги, приравнивают к журналистам, а их журналы не менее известны и не менее посещаемы, чем многие онлайновые новостные издания.

Поиск по блогам, реализованный в Яндексе, привел и к решению следующей задачи – связал публикуемые новости с их обсуждением в блогах. Если сюжет Яндекс. Новостей широко обсуждается в Интернете, рядом со статистикой сюжета ( всего сообщений, видео, аудио) появляется ссылка В блогах: <количество мнений>.Сбор мнений и их связывание с новостями осуществляется автоматически, а наиболее обсуждаемые сюжеты приводятся на странице Новости в блогах (http://news.yandex.ru/Russia/blogs.html).

Страница «Новости в блогах» является своего рода народным рейтингом официальных новостей, – говорит Антон Волнухин, менеджер службы «Поиск по блогам». – Попробуйте взглянуть на новости со стороны читателей, их мнения могут оказаться не менее интересными. А пишут российские пользователи много – хотя доля «блоггеров» Рунета в мире пока всего 3 %, количество ежедневных «постингов» – целых 10 %.

На странице Новости в блогах(рис. 3.12) могут оказаться совсем не те новости, которые выводятся на первую страницу новостного раздела. Обсуждение происходит с некоторой задержкой по сравнению с публикацией новостей и обычно носит более «затяжной» характер, что позволяет наиболее обсуждаемым новостям дольше продержаться в числе лидеров обсуждения в блогах. Едино лишь то, что общее количество новостей на этой странице такое же, как и на странице новостного раздела, то есть пятерка наиболее популярных с краткими аннотациями и десятка следующих по популярности новостей.

3.2. Подписка на новости

Есть темы, которые интересуют человека постоянно. Кому-то интересно узнавать о последних достижениях в области космической техники, другого интересуют новости определенного вида спорта, третьему необходимо быть в курсе новостей компаний-конкурентов. Заходить на Яндекс. Новости и каждый раз задавать один и тот же запрос неинтересно, да и неправильное это решение. Потому что вы можете подписаться на получение новостей по электронной почте.

Сделать это очень просто. И, как всегда, необходимо выполнение всего лишь одного условия – вы должны быть зарегистрированы на Яндексе, поскольку управление подписками на новости осуществляется через ваши личные настройки.

Подписаться на регулярное получение новостей можно путем выполнения запроса. Сформируйте поисковое выражение и выполните поиск. На странице результатов в правой колонке вы увидите ссылку Подписка на новости по запросу <ВАШ ЗАПРОС>. Если результаты выполнения запроса вас удовлетворяют, щелкните на ней. Откроется страница Подписка на новости(рис. 3.13).

Дайте вашему запросу название (по умолчанию название будет повторять текст вашего запроса). Выберите периодичность, с какой будет формироваться обновление запроса. Это может быть ежедневное обновление, обновление утром, днем и вечером либо обновление может выполняться ежечасно. Далее, можете выбрать способ получения обновлений – либо получать по почте, тогда результаты запроса будут приходить на указанный вами адрес электронной почты, либо эти результаты можно будет подключить к Яндекс. Ленте. Допускается использование обоих вариантов.

После подтверждения вы перейдете на страницу управления подписками. Здесь находится список всех запросов, по которым вы собираетесь получать регулярную информацию. Отметив любой из них (или сразу несколько), вы можете приостановить рассылку, удалить или возобновить ее. Здесь же вы можете изменить адрес электронной почты, на который она будет отсылаться. В строке статуса рассылки также показано, какой вариант получения ее вы выбрали.

В связи с тем, что есть альтернативный вариант чтения новостей с помощью Яндекс. Ленты, вы можете одним щелчком добавить все подписки в свою ленту.

Для предотвращения получения несанкционированных рассылок, каждая новая рассылка требует подтверждения. Для этого на ваш почтовый адрес отправляется письмо, в котором говорится о способе активизации рассылки. Если это не вы внесли в ваш список новую рассылку, можете ее не подтверждать и она приходить вам не будет.

3.3. Яндекс. Лента

Яндекс. Лента – это служба Яндекса для тех, кто хочет читать все интересные новости и блоги на одном сайте. Посмотрите внимательно на основные ссылки, размещенные на страницах новостей. Они несколько отличаются от тех, что присутствуют на основной странице Яндекса. Главное отличие заключается в том, что в верхней строке ссылок появилась новая – Лента( http://lenta.yandex.ru). А в конце списка новостей присутствует несколько непривычный адрес (свой для каждой новостной страницы), тип которого отнюдь не html, а имеет совсем другой формат – rss. Что это такое, мы сейчас с вами и разберем.

3.3.1. Формат RSS

Читать новости сайтов можно по-разному. Самый простой способ – заходить время от времени на сайт и просматривать новые сообщения. Можно поставить программу, которая подключается к новостному каналу и сама получает заголовки или аннотации новостей, по которым можно перейти на сами новости. В последнее время все более популярным становится формирование новостей в формате RSS.

RSS (Really Simple Syndication) – это формат представления данных. Технология RSS дает возможность в реальном времени отслеживать изменения любой информации на любом сайте, где эта технология поддерживается. Обычно эту технологию используют на сайтах, публикующих обновляемую информацию, новости, в блогах.

Примечание

RSS – это разновидность XML, формат, специально придуманный для того, чтобы легко и быстро делиться контентом. Изначально придуманный Netscape для своего портала Netcenter, он быстро завоевал популярность и стал широко использоваться.

Практически любой материал, который можно разделить на отдельные части, можно публиковать с помощью RSS: например, объявления о последних публикациях в wiki, информацию об обновлениях в CVS, историю изменений, внесенных в книгу. После того как информация преобразована в формат RSS, программа, понимающая этот формат, может вытягивать сведения о внесенных изменениях и в зависимости от результата предпринимать какие-либо действия. Более подробно о формате RSS можно прочитать на сайте http://www.kanban.ru/.

Сегодня существует семь подвидов стандарта – от RSS 0.90 до RSS 2.0. Прочитав значительное количество статей, посвященных этим разновидностям, могу сказать, что многие разработчики в большей степени склоняются к использованию стандарта RSS 2.0 как наиболее развитого. Этот стандарт позволяет прикреплять к сообщениям дополнительную информацию, в том числе и мультимедийную. Наиболее полный сравнительный анализ версий можно прочитать в статье "Что такое RSS" (автор Mark Pilgrim, http://www.webmascon.com/topics/technologies/9a.asp), а стандарт RSS 2.0 опубликован на сайте Technology at Harvard Law ( http://blogs.law.harvard.edu/tech/rss).