Как изменится лексическая замена благодаря нейронным языковым моделям
Группа ученых из «Сколтеха» провели большое вычислительное исследование по сравнению актуальных языковых моделей, в основе которых нейронные сети. Цель исследования – понять, как система может быть полезна для лексической замены. Итоги работы ученые представили на 28 Международной конференции по компьютерной лингвистике.
Что такое лексическая замена
Термин обозначает замену отдельных слов в предложении на другие, схожие по смыслу. Рассмотрим несколько примеров. В предложении «Александр Сергеевич Пушкин – знаменитый русский поэт», слово «знаменитый» можно заменить синонимом «выдающийся». Вот другой пример: «Моя сестра – отличная баскетболистка». Вместо слова «баскетболистка» можно использовать более общее понятие «спортсменка».
Для носителей языка такие вещи кажутся естественными. А вот компьютеры, которые занимаются обработкой естественной речи, решают подобные задачи с трудом. Чтобы машина могла определять значение слова из контекста, исправлять ошибки в зависимости от смысла слова и перефразировать текст, ей придется «овладеть навыками» индукции. И в этом компьютеру помогают языковые модели. Они делают лексическую замену, опираясь на близкий контекст рассматриваемого слова.
Как работает система
Ученые «Сколтеха» работали с несколькими языковыми моделями. Каждой предстояло выполнить несколько заданий: осуществить лексическую замену и определить несходство омонимов. В результате исследования обозначилась связь между определенной моделью и видом семантической взаимосвязи между словами. Кроме этого, рабочая группа пришла к выводу, что на уровень лексической замены влияют дополнительные сведения об анализируемом слове.
Область применения
Рабочая группа видит будущее разработки в нескольких отраслях. Результаты исследования будут полезны для изучения языка, когда важно сложные языковые конструкции заменить более легкими и понятными. Также информация пригодится для аугментации текстовой информации при обучении нейронных сетей. Подобные технологии уже применяются в компьютерном зрении, чего нельзя пока сказать про работу с текстом.