?

Log in

No account? Create an account
Открытый корпус текстов русского языка - alt17 [entries|archive|friends|userinfo]
alt17

В начало

Открытый корпус текстов русского языка [Nov. 28th, 2012|02:23 am]
alt17
[Tags|, ]

Вот тем, кто жаловался, что в моем посте про opencorpora.org (http://alt17.livejournal.com/209697.html) ничего не понятно - злободневная лирика ))

Оригинал взят у fritzmorgen в Открытый корпус текстов русского языка

Что такое гражданское общество?

Это когда стадо недовольных жизнью особей собирается в каком-нибудь общественном месте, чтобы всласть нажаловаться друг другу и подтянувшейся прессе на нравы и времена?

Нет, это просто нытьё.

Это когда свора «правозащитников» готовит по заказу спонсоров многостраничный глянцевый донос на собственную страну?

Нет, это банальная работа агентов иностранного государства.

Это когда стайка светлолицых доброжелателей жертвует по пять рублей на богоугодные дела, чтобы лишний раз потешить свою натруженную совесть?

Нет, это просто удовлетворение естественной человеческой потребности быть нужным.

Это когда банда гопников находит себе жертву и издевается над ней, делая вид, будто тем самым она помогает обществу избавиться от врагов?

Нет, это обычное уголовное самоуправство, статья 330 УК РФ.

Гражданское общество — это не враг государства, не его альтернатива и даже не его помощник. Гражданское общество — это параллельная государству структура, которая работает с ним «в одной команде» и орудует там, куда государство лезть не хочет или не может.

Сегодня я приведу пример по-настоящему годного начинания активистов.

Как я уже много раз писал, один из важнейших наших ресурсов — это русский язык. На русский язык плотно завязана вся наша культура. С помощью русского языка мы отбиваемся от культурной агрессии англичан и, наоборот, культурно угнетаем страны с менее распространёнными языками.

Вот, скажем, Эстония. На эстонском языке говорит чуть более одного миллиона человек — это в триста раз меньше, чем на русском. На эстонском языке выходит довольно мало фильмов и книг, а, например, эстонская ВикиПедия содержит скромные 100 тысяч статей, большая часть которых менее полна и актуальна, чем аналогичные русские статьи.

Допустим, некий эстонец хочет прочесть в ВикиПедии статью про трактор. Он заходит сначала на ресурс на его родном языке и видит там заглушку из картинки трактора и ссылки на старую модель трактора Беларусь:

http://et.wikipedia.org/wiki/Traktor

Дальше у эстонца есть выбор. Пойти на русскую ВикиПедию, и прочесть там довольно развёрнутую статью, или же пойти на ВикиПедию английскую, и прочесть там статью тоже длинную, но уже другую:

http://ru.wikipedia.org/wiki/Трактор
http://en.wikipedia.org/wiki/Tractor

Нам, очевидно, выгодно, чтобы эстонец направил мышь именно на русский вариант ресурса. Так как когда эстонец будет принимать решения о выборе деловых партнёров, о месте отдыха и прочая и прочая он будет руководствоваться, не в последнюю очередь, своим уровнем владения русским языком.

Плавно перехожу теперь к сути статьи.

В текущем десятилетии разного рода роботы набегают на нас изо всех щелей. Роботы-пылесосы, роботы-проститутки, роботы-кулинары… тысячи их. И каждому из этих наших слуг надо как-то нас понимать.

Сейчас уже есть технологии, которые позволяют роботам говорить с нами на человеческом языке. В качестве классического примера приведу разработанную специально для айфона технологию Siri. Телефону можно сказать обычным голосом, например, «напомни мне, что четверг в пять у меня встреча» или «найди ближайший ресторан». Телефон распознает запрос и выполнит распоряжение.

Но есть нюанс. Говорить с телефоном придётся на английском. В настоящее время фирма Apple болт класть хотела на поддержку русского языка, хоть на нём и говорит больше людей, чем на итальянском, корейском и немецком, для которых локализованные версии Siri уже есть.

Очевидно, это политическое решение. Русский язык является сейчас одним из главных — если не главным — конкурентом английского языка. Так как остальные «европейские» языки, начиная с того же немецкого, без боя сдают позиции своему английскому старшему брату.

У нас, например, есть свои Яндекс и ВКонтакте. У Германии, Италии, Испании, Франции и остальных свободолюбивых когда-то европейских странах — уже нет. Они пользуются американскими Гуглом и Фейсбуком.

Так вот. Сейчас энтузиасты запустили очень важный проект по поддержке русского языка. Проект по созданию открытого корпуса текстов на русском языке:

http://habrahabr.ru/post/152799/

Что это такое?

Это сборник из размеченных специальным образом статей, который программисты смогут использовать для разработки разного рода компьютерных систем на русском языке.

Сразу приведу пример. Допустим, робот слышит команду «вызывай наряд». Как ему понять о чём идёт речь, о наряде милиции или о национальном наряде? Или, может быть, хозяин запросил у него бухгалтерский наряд-заказ?

Корпус текстов нужен для того, чтобы расшить все эти неоднозначности, разжевать роботу их смысл и, в конечном итоге, научить робота понимать обычную русскую речь.

Размеченные таким образом корпуса есть для многих языков мира. Для многих, но не для русского языка. Хотя — позор на наши седины — размеченный корпус текста есть уже даже для венгерского: для языка, на котором говорит в двадцать (!) раз меньше человек, чем на русском.

Точнее, на русском языке существует несколько закрытых корпусов текстов разного размера. Но разметившие эти тексты частные компании ни разу не спешат делиться своими корпусами с остальными русскоязычными разработчиками.

Что мы с вами можем сделать, чтобы исправить ситуацию?

Очевидно, присоединиться к проекту по разметке свободного корпуса текстов. Согласно подсчётам авторов, для первого этапа работ нужно будет скормить добровольцам четыре миллиона вопросов. Если таковых добровольцев наберётся пять тысяч, то каждому из них нужно будет потратить всего лишь один час времени.

После чего свободно скачиваемый корпус текстов на русском языке будет в полном распоряжении всех отечественных роботостроителей.

Как конкретно происходит «разметка»? Вы заходите на сайт открытого корпуса и берёте на разметку небольшую связку слов:

http://opencorpora.org/

Если вы выберете, например, пул «существительные — родительный/винительный», вам будут показывать фрагменты такого типа:

…Это задает вектор нового персонажа — любила его больше…
…помазывает лбы невесты и жениха освященным маслом…
…только лишь укажите автора текста…

Вам надо будет указывать сайту, где выделенное слово стоит в родительном, а где — в родительном падеже. Это удобнее всего делать, заменяя в уме нужное слово на слово «лиса». «Вектор новой лисы», «укажите лису текста» и так далее — по окончанию слова сразу всё понятно.

Работа для любящего русский язык человека довольно простая, на грани развлечения, что-то типа раскладки пасьянсов или лузганья кроссвордов. Про огромную важность этой работы я уже написал. Поэтому, коллеги, я считаю себя вправе обратиться к вам с просьбой.

Примите, пожалуйста, участие в разметке этого корпуса текстов. И обязательно посоветуйте своим читателям сделать то же самое. Тогда через несколько лет вы сможете сказать своему личному андроиду, что своим умением говорить на русском языке он обязан в том числе и вам.
LinkReply

Comments:
[User Picture]From: kattrend
2012-11-28 05:50 am (UTC)
Да, так немножко понятнее.
(Reply) (Thread)
[User Picture]From: Евгений Павловский
2012-11-28 06:17 am (UTC)
Видимо проверять будут. А то с грамотностью у нас сейчас сложновато...
"% расхождений" оттуда берётся?

Edited at 2012-11-28 06:22 am (UTC)
(Reply) (Thread)
[User Picture]From: alt17
2012-11-28 06:55 am (UTC)
Будут.
Каждый семпл размечается независимо 3-мя размечающими. Вот отсюда считается "% расхождений".
Потом, если все трое единогласны, разметка уходит в корпус, если нет - проверяется специальнообученным "модератором" - здесь считается "% ошибок" (в таблице "активность за все время"). Так должно быть, но пока еще всем страшно, и модераторы проверяют всё подряд :)
(Reply) (Parent) (Thread)
[User Picture]From: laweless
2012-11-28 11:23 am (UTC)
уговорил со второго раза )
(Reply) (Thread)
[User Picture]From: alt17
2012-11-28 11:29 am (UTC)
))
(Reply) (Parent) (Thread)
[User Picture]From: laweless
2012-11-28 12:16 pm (UTC)
Альт. Мне кажется там неспроста куски правил от чёрного пламени.
(Reply) (Thread)
[User Picture]From: laweless
2012-11-28 12:18 pm (UTC)
А. Понял. По открытой лицензии, тудым-сюдым, заслал.
(Reply) (Parent) (Thread)
[User Picture]From: alt17
2012-11-28 12:25 pm (UTC)
Ясный пень, не с проста ))
Там еще куски путешествия Харлея и Ко по Монголии и Китаю.
И еще всякое будет.
В общем, разметка сулит много сюрпризов ;)
Я вот как-то раз выпал, когда она мне поведала про пожарных добровольцев, которые тушат и параллельно пытаются дозвониться в МЧС... )
(Reply) (Parent) (Thread)
[User Picture]From: laweless
2012-11-28 12:25 pm (UTC)
А про велики, горы, Махно и блек лейбл - твоё?
(Reply) (Thread)