Мы независимая консалтинговая компания, не аффилированная с Фондом Сколково, и не выступаем от его имени.

Как изменится лексическая замена благодаря нейронным языковым моделям

24 мая 2021

Группа ученых из «Сколтеха» провели большое вычислительное исследование по сравнению актуальных языковых моделей, в основе которых нейронные сети. Цель исследования – понять, как система может быть полезна для лексической замены. Итоги работы ученые представили на 28 Международной конференции по компьютерной лингвистике.

Что такое лексическая замена

Термин обозначает замену отдельных слов в предложении на другие, схожие по смыслу. Рассмотрим несколько примеров. В предложении «Александр Сергеевич Пушкин – знаменитый русский поэт», слово «знаменитый» можно заменить синонимом «выдающийся». Вот другой пример: «Моя сестра – отличная баскетболистка». Вместо слова «баскетболистка» можно использовать более общее понятие «спортсменка».

Для носителей языка такие вещи кажутся естественными. А вот компьютеры, которые занимаются обработкой естественной речи, решают подобные задачи с трудом. Чтобы машина могла определять значение слова из контекста, исправлять ошибки в зависимости от смысла слова и перефразировать текст, ей придется «овладеть навыками» индукции. И в этом компьютеру помогают языковые модели. Они делают лексическую замену, опираясь на близкий контекст рассматриваемого слова.

Как работает система

Ученые «Сколтеха» работали с несколькими языковыми моделями. Каждой предстояло выполнить несколько заданий: осуществить лексическую замену и определить несходство омонимов. В результате исследования обозначилась связь между определенной моделью и видом семантической взаимосвязи между словами. Кроме этого, рабочая группа пришла к выводу, что на уровень лексической замены влияют дополнительные сведения об анализируемом слове.

Область применения

Рабочая группа видит будущее разработки в нескольких отраслях. Результаты исследования будут полезны для изучения языка, когда важно сложные языковые конструкции заменить более легкими и понятными. Также информация пригодится для аугментации текстовой информации при обучении нейронных сетей. Подобные технологии уже применяются в компьютерном зрении, чего нельзя пока сказать про работу с текстом.

Бесплатная консультация по оформлению заявки в Сколково
  • Ответим на все интересующие вас вопросы по теме Сколково
  • Сделаем анализ ваших материалов и дадим рекомендации по улучшению
lead-img
Нет времени читать? 
Получите быструю консультацию от наших специалистов
callback-popup-bg-img

Оставить заявку

Нажимая кнопку «Заказать звонок», вы даете согласие на обработку персональных данных

Ваша заявка отправлена, наш менеджер свяжется с вами.

ООО «Передовые решения» +7 (499) 647-40-29 [email protected]
Россия 115093 Москва Люсиновская 36