-

Как изменится лексическая замена благодаря нейронным языковым моделям

24 мая 2021

Группа ученых из «Сколтеха» провели большое вычислительное исследование по сравнению актуальных языковых моделей, в основе которых нейронные сети. Цель исследования – понять, как система может быть полезна для лексической замены. Итоги работы ученые представили на 28 Международной конференции по компьютерной лингвистике.

Что такое лексическая замена

Термин обозначает замену отдельных слов в предложении на другие, схожие по смыслу. Рассмотрим несколько примеров. В предложении «Александр Сергеевич Пушкин – знаменитый русский поэт», слово «знаменитый» можно заменить синонимом «выдающийся». Вот другой пример: «Моя сестра – отличная баскетболистка». Вместо слова «баскетболистка» можно использовать более общее понятие «спортсменка».

Для носителей языка такие вещи кажутся естественными. А вот компьютеры, которые занимаются обработкой естественной речи, решают подобные задачи с трудом. Чтобы машина могла определять значение слова из контекста, исправлять ошибки в зависимости от смысла слова и перефразировать текст, ей придется «овладеть навыками» индукции. И в этом компьютеру помогают языковые модели. Они делают лексическую замену, опираясь на близкий контекст рассматриваемого слова.

Как работает система

Ученые «Сколтеха» работали с несколькими языковыми моделями. Каждой предстояло выполнить несколько заданий: осуществить лексическую замену и определить несходство омонимов. В результате исследования обозначилась связь между определенной моделью и видом семантической взаимосвязи между словами. Кроме этого, рабочая группа пришла к выводу, что на уровень лексической замены влияют дополнительные сведения об анализируемом слове.

Область применения

Рабочая группа видит будущее разработки в нескольких отраслях. Результаты исследования будут полезны для изучения языка, когда важно сложные языковые конструкции заменить более легкими и понятными. Также информация пригодится для аугментации текстовой информации при обучении нейронных сетей. Подобные технологии уже применяются в компьютерном зрении, чего нельзя пока сказать про работу с текстом.

Бесплатная консультация по оформлению заявки в Сколково

  • Ответим на все интересующие вас вопросы по теме Сколково.
  • Сделаем анализ ваших материалов и дадим рекомендации по улучшению.
ООО «Передовые решения» +7 (499) 647-40-29 info@skolkovo-resident.ru
Россия 115191 Москва Малая Тульская 25

Заказать звонок

Нажимая кнопку «Оставить заявку», вы даете свое согласие на обработку персональных данных.