ИССЛЕДОВАНИЕ ЯЗЫКА ЖЕСТА ДЛЯ ЦИФРОВОГО ПЕРЕВОДА: ОБЗОРНЫЙ АНАЛИЗ

АННОТАЦИЯ

Цифровизация языка жестов является важной исследовательской проблемой для обеспечения общения с людьми с нарушениями речи или слуха. Данная тема с каждым годом набирает популярность, ведь применение современных технологии растет с каждым годом и люди с нарушением речи или слуха также нуждаются в цифровом переводе с использованием языка жеста. В данной статье представлен обзорный анализ применения языка жеста для цифрового применения. Это поможет людям с нарушениями слуха или речи в значительной степени общаться со всеми другими людьми с помощью жестов рук и сделает общение эффективным и действенным. Это также устранит необходимость в переводчике и позволит людям с нарушениями слуха или речи общаться независимо друг от друга. Статья носит описательный характер, в качестве метода исследования применяется обзорный анализ научной литературы. Результаты исследования дополняют имеющуюся научную литературу и могут быть применены в области исследования языка жеста и цифровизации.

ABSTRACT

The digitalization of sign language is an important research challenge for communicating with people with speech or hearing impairments. This research is gaining popularity every year, because the use of modern technology is growing every year and people with speech or hearing impairments also need digital translation using sign language. This article presents an overview of the application of sign language for digital application. This will help people with hearing or speech impairments to communicate largely with all other people through hand gestures and will make communication effective and efficient. It will also eliminate the need for an interpreter and allow people with hearing or speech impairments to communicate independently from each other. The article is of a descriptive nature, as a method of research is used review analysis of the scientific literature. The results of the study complement the existing scientific literature and can be applied in the field of sign language research and digitalization.

Ключевые слова: язык жестов, цифровой перевод, люди с нарушением слуха или речи.

Keywords: sign language, digital translation, people with impaired hearing or speech.

Введение

Язык жестов, или жестовая речь, является главным методом общения для людей с нарушением слуха или речи. Согласно по последним данным Всемирной организации здравоохранения, 5% населения земного шара страдают нарушениями слуха. Хотя это число кажется небольшим, на самом деле это означает, что более 460 миллионов человек во всем мире страдают от потери слуха. Из них 34 миллиона детей. Кроме того, ожидается, что к 2050 году более 900 миллионов человек будут страдать от потери слуха, а 1,1 миллиарда молодых людей подвержены риску потери слуха из-за воздействия шума и других связанных с ним проблем. Нерешенная потеря слуха приводит к глобальным затратам в размере 750 миллиардов долларов США [1]. Потеря слуха подразделяется на легкую, умеренную, тяжелую и глубокую категории в зависимости от интенсивности глухоты. Люди с тяжелой или глубокой потерей слуха не могут слушать других и, таким образом, сталкиваются с проблемами в общении. Этот недостаток общения может оказать сильное влияние на личность глухого человека, что может включать одиночество, изоляцию и разочарование.

Язык жестов — это особый тип языка, который используется глухими людьми в качестве способа общения. В отличие от других естественных языков, он использует осмысленные движения тела для передачи сообщений, и эти движения тела называются жестами или знаками. Движения рук и пальцев, кивки головы, движения плеч и выражение лица используются для передачи смысла. Язык жестов является полноценным естественным языком со своим синтаксисом и грамматикой. Разговорные языки варьируются от одного региона к другому, и в мире существует около 6909 разговорных языков. Точно так же не существует универсального жестового языка, и в мире существует около 200 различных жестовых языков [2, с.4]. Технологический прогресс современного мира и процесс глобализации также способствовал росту исследования языка жеста для цифрового перевода.

Цель исследования заключается в анализе развития языка жеста для цифрового перевода.

Практическая значимость исследования: результаты анализа литературы, отраженные в статье, могут быть использованы в дальнейших научно-исследовательских работах в области цифрового перевода языка жеста и дополнит литературу по теме исследования так как имеет актуальность на сегодня и большие перспективы в будущем.

Метод исследования заключается в обзорном анализе научной литературы. Исследование носит описательный характер и основано на результатах ранее опубликованных работ. Статьи для анализа отбирались в базе данных Scopus, Web of science, research gate, academic.edu и google scholar. Ключевыми словами для поиска литературы были «язык жестов», «цифровой перевод».

Результаты и обсуждение

Цифровой перевод языка жеста помогает достичь более высокого уровня включения. В связи с этим были разработаны системы перевода между их основными пользователями, глухими людьми и остальным сообществом. Их вычислительная обработка сложна и требует интеграции нескольких элементов, таких как сочетание ручных жестов с жестами лица, соблюдение лингвистических предписаний и особенностей географического региона.

Петерсен К., Ваккаланка С., Кузнярц Л. отмечают, что алгоритмы цифрового перевода языка жеста предлагаются и документируются на основе исходного уровня для определения их эффективности. В этих усилиях участвуют ученые-компьютерщики, лингвисты, педагоги и члены сообщества глухих, чтобы разобраться со сложностями такого широкого явления, как общение. Авторы также отмечают, что многие технологии, обеспечивающие перевод, доступные для жестовых языков, можно удобно сгруппировать в четыре категории [3], которые четко выделяются: доступность, взаимодействие человека с компьютером, обработка естественного языка и образование.

Разница между компьютерной лингвистикой и обработкой естественного языка все еще является предметом споров. Так Фитцпатрик Э., Хамель К., Стивенс А. и др. пишут, эти области ни в коем случае не являются исключительными, напротив, они дополняют друг друга, и ожидается, что реальная система, ориентированная на людей с ограниченными возможностями, примет эти категории соответствующим образом. Система цифрового перевода должна учитывать все эти компоненты, чтобы производить не только правильные переводы, но и наделять пользователей и окружающее их сообщество элементами успеха предлагаемого решения [4, c.137].

Мартинс П., Родригес Х., Роча Т., Франциско М., Моргадо Л. изучили потенциальные технологические решения для платформ электронного обучения посредством перевода жестового языка. Они представили список возможных вариантов технологий для распознавания, перевода и представления языка жеста в цифровом формате. Авторы также описали особенности потенциальных проблем, проанализировав вспомогательные технологии, методы и приемы. Их анализ показывает, что прочная интеграция технологий в платформы электронного обучения по-прежнему на низком уровне развития, поскольку нет немедленных решений для синхронного общения в реальном времени между глухими и неглухими людьми [5, c.263].

В исследовании Сан-Сегундо Р., Монтеро Дж. представлены агенты с высоким уровнем детализации, который представляет жесты на испанском языке жестов. В нескольких исследовательских отделах была предпринята попытка совместить распознавание жестов с формами и движениями рук, рук и туловища, но сообщалось, что большая проблема заключается в создании анимации [6, c.523].

Анализ литературы также показывает, что есть некоторые подходы распознавания голоса для перевода с разговорного языка на язык жестов, в то время как другие подходы переводят написанное на язык жестов. Хюнерфаут М. отмечают, что распознавание голоса ограничивает свое действие определенными областями и не очень эффективно, со скоростью 8 с на предложение (непрактичное решение для реального времени). Жестовые языки естественны и развиваются с течением времени, что предполагает необходимость обновления грамматической основы. Более того, указывается, что грамматика и двусмысленные жесты делают перевод чрезвычайно сложным [7, с.416].

Наранхо Л., Пераль Х., Феррандес А. в своем исследовании рассматривают доступные на момент исследования приложения для цифрового перевода языка жестов. Авторы рассматривают уже существующие и успешные программы для цифрового перевода языка жестов на разные языки мира [8, c.1047]. Авторами были рассмотрены следующие приложения:

Hand Talk выполняет цифровой и автоматический перевод на бразильский язык жестов (LIBRAS) с помощью двух основных продуктов: переводчик веб-сайтов, который делает веб-сайты доступными в Libras путем вставки кнопки, и приложение, которое принимает текст или аудио в качестве входных данных и автоматически переводит их. Их разработчики отмечают, что эти продукты дополняют работу интерпретаторов LIBRAS [8], [9].

Helloasl приложение, цель которого, помочь процессу изучения американского языка жестов (ASL). По словам их авторов, это позволяет людям встречаться и взаимодействовать в удобной и приятной форме обучения, выходящей за рамки основ [10]. Они предлагают заинтересованным людям приложение и веб-сайт, предназначенные для обучения.

Также анализ показывает, что существуют программы с переводом языка жеста в цифровом пространстве в реальном времени. Одним из таких успешных программ, является Showleap [11]. Данная программа обнаруживает движения и распознает изображения человека. Программное обеспечение, которое работает на мобильном телефоне, планшете или ноутбуке пользователя, переводит знаки в режиме реального времени и преобразует их в текст и голос. Когда слышащий человек говорит с глухим, приложение выполняет обратный процесс, преобразуя слова в текст, который глухой человек может прочитать на своем устройстве.

Эльмахджуби М., Эннаджар М., Дравил Н. и Эльбуни М.С. рассматривают данную тему с точки зрения программного обеспечения [12, c.78]. Авторы отмечают, что любая программа цифрового перевода языка жеста состоит из двух аспектов проектирования, в своей же работе показывают алгоритм на основе Arduino. Первый аспект вращается вокруг управления работой системы, включая аппаратную инициализацию и квантование сенсорных данных. Второй аспект касается процесса искусственного обучения жестам.

В своей работе авторы представили подходы и алгоритмы, разработанные для управления работой системы транслятора переводчика. Коды, написанные для работы Arduino, известны как скетчи. Они написаны на С++. Каждому скетчу нужны две функции типа void: setup и loop. Метод настройки запускается в начале после загрузки Arduino, а метод цикла запускается непрерывно после этого. Поэтому этапы инициализации аппаратного и программного обеспечения закодированы в функции настройки. В циклической функции обычные процедуры распознавания закодированы так, чтобы они выполнялись снова и снова. Arduino IDE — интегрированная среда разработки, используемая в данной работе. Среда разработки Arduino содержит текстовый редактор для написания кода, область сообщений, текстовую консоль, панель инструментов с кнопками для общих функций и ряд меню. Он подключается к оборудованию Arduino для загрузки программ и связи с ними [12]. В качестве примера, авторы показывают псевдокод для функции настройки.

В Казахстанском пространстве данную тему изучили Кудубаева С. А., Жусупова Б.Т., Алиппаева Д. Ж. [13, c.72] Авторы в своей работе рассматривают вопрос разработки семантического словаря казахского языка для системы компьютерного перевода с казахского на казахский жестовый язык, который будет учитывать семантику казахского языка. Авторы статьи проанализировали и отобрали существующие словари казахского языка, используемые при разработке базы семантических словарей. Словари казахского языка дают возможность осуществления компьютерного сурдоперевода казахского жестового языка. Однако в результате авторы отмечают, что не существует такого словаря казахского жестового языка, который позволял бы по форме жеста находить его значение, хотя в мире создание подобных словарей жестовых языков достаточно распространенная практика. Над созданием корпуса казахского языка жестов работает также и исследователи из Назарбаев Университет. По словам исследователей Казахстан имеет один язык жестов с Россией, Молдовой и другими странами региона СНГ, а собственная разработка языка жестов все еще находится в зачаточном состоянии. Согласно авторам, проект направлен на создание первого корпуса казахского языка знаков, который был бы подходящим для машинного обучения и лингвистических исследований. Исследователи стремятся создать полуавтоматический инструмент аннотации, который будет автоматически аннотировать ручные и неручные компоненты, тем самым способствуя более быстрому созданию аннотированных наборов данных. В то же время, алгоритмы будут в дальнейшем применяться для автоматического распознавания языка жестов для различных приложений взаимодействия человек-компьютер/робот [14].

В целом анализ литературы показывает, что наиболее изученными академическим сообществом языками являются ASL (американский язык жестов), LSE (испанский язык жестов), ArSL (арабский язык жестов), LSF (французский язык жестов), ISL (индийский язык жестов), LIBRAS (бразильский язык жестов), SaSL (южноафриканский язык жестов), GSL (греческий язык жестов), BSL (британский язык жестов), LIS (итальянский язык жестов) и LGP (португальский язык жестов). Системы автоматического перевода полагаются на использование четко определенных грамматик в источнике и получателе или на использовании массивных данных. В этом смысле перевод на языки жестов не сильно отличается по концепции, но проект исследования и разработки может потребовать гораздо больше времени из-за ограниченной доступности этих ресурсов, включая такое же формальное и нормативное определение грамматик. Существующие решения, работающие в режиме реального времени, ограничены определенными языками и ограниченными областями, оставляя без внимания многие сообщества и актуальные области. В частности, распознавание речи требует очень осторожного обращения и может легко стать неэффективным. С другой стороны, жестовые языки динамичны и требуют регулярного обновления своей грамматической базы, что также означает регулярное обновление программных систем, которые их реализуют. В идеале любой метод устранения неоднозначности и разрешения многоточия и анафоры должен учитываться в каждом предложении, а также иметь маркировку корпуса для тестирования методов машинного обучения.

Заключение

Систематический обзор литературы о современном состоянии цифрового перевода языка жестов показал, что на мировой арене данная тема достаточно актуальна в научном мире и многие исследователи разрабатывают новые приложения для цифровизации языка жестов. Как мы уже ранее отметили, для каждого языка необходимо разрабатывать свой цифровой перевод языка жеста. Наиболее активно такие программы разрабатываются в Америке и в странах Западной Европы, однако в Казахстане не так много исследовании по данной теме.

В ходе анализа также были представлены основы языков жестов, включая типы жестов, лингвистические аспекты, показывающие, чем язык жестов отличается от других естественных языков. Подробно обсуждались различные варианты систем жестов для разных алфавитов ASL, LSE, LIBRAS, BSL. Существующая практика по цифровизации языка жеста в данных алфавитов может послужить как примером для создания новых приложении или программ цифрового языка жеста на казахском.  Также были проанализированы различные приложения, разработанные для изучения языка жестов, приложения для перевода и некоторые приложения, специфичные для предметной области, для различных языков жестов.

Список литературы:

1. Глухота и потеря слуха, [Электронный ресурс], URL: https://www.who.int/news-room/fact-sheets/detail/deafness-and-hearing-loss (дата обращения: 01 апреля 2021).
2. Ву Дж., Тянь З., Сун Л., Эстевес Л., Джафари Р. Распознавание американского языка жестов с помощью движений на запястье и поверхностные датчика // IEEE. – 2015. – С. 4–6.
3. Петерсен К., Ваккаланка С., Кузнярц Л. Руководство по проведению систематических картографических исследований языка жеста в программном обеспечении // Inf. Softw. Technol. – 2015. - №64. – С. 11–18.
4. Фитцпатрик Э., Хамель К., Стивенс А. и др. Знак, язык и разговорный язык для детей с потерей слуха: систематический обзор // Pediatrics. – 2016. – №. 2. - С.137
5. Мартинс П., Родригес Х., Роча Т., Франциско М., Моргадо Л. Доступные варианты для глухих на платформах электронного обучения: технологические решения для перевода на язык жестов // Procedia Comput. Sci. – 2015. - №67. – С. 263–272.
6. Сан-Сегундо Р., Монтеро Дж. и др. Архитектура перевода жестов для испанских глухих // J. Vis. Lang. Comput. – 2008. - №5. – С. 523–538.
7. Хюнерфаут М. Создание анимации на американском жестовом языке: преодоление неправильных представлений и технических проблемы // Univers. Access Inf. Soc. – 2008. - №6. – С. 419–434.
8. Наранхо Л., Пераль Х. и др. Систематическое картирование технологий перевода для жестовых языков // Electronics. – 2019. - № 8. – С. 1047.
9. Handtalk. Hand Talk Translator, [Электронный ресурс], URL: https://play.google.com/store/apps/details?id=br.com.handtalk&hl=en_US (дата обращения: 29 августа 2019).
10. Helloasl. ASL American Sign Language, [Электронный ресурс], URL: https://play.google.com/store/apps/details?id=tenmb.asl.americansignlanguagepro&hl=en_US (дата обращения: 9 апреля 2021).
11. Сакристан Л. Переводчик словесных знаков и носимых устройств для обнаружения знаков жеста в реальном времени, [Электронный ресурс], URL: https://www.xatakamovil.com/vodafone/traductor-lengua-signos-wearable-que-detecta-epilepsia-nuevos-proyectos-fundacion-vodafone (дата обращения: 14 февраля 2010).
12. Эльмахджуби М., Эннаджар М., Дравил Н. и Эльбуни М.С. Переводчик языка жестов и распознавание жестов // Глобальный саммит по компьютерным и информационным технологиям (GSCIT). – 2015. – С. 78.
13. Кудубаева С. А., Жусупова Б.Т., Алиппаева Д. Ж. Словари казахского языка как основа семантического анализа // Вестник Национальной инженерной академии Республики Казахстан. - 2020. – Т. 78, № 4. – С. 71-75.
14. Казахстанский исследовательский проект направлен на создание первого корпуса казахского языка жестов, [Электронный ресурс], URL: https://seds.nu.edu.kz/ru/news-ru/a-kazakhstani-research-project-aims-to-create-the-first-kazakh-sign-language-corpus-2/ (дата обращения: 28.02.2020).