ИИ переводит РЖЯ в слова: инновационное приложение Panto L

Проект Panto L был представлен командой российских разработчиков на Всероссийском кейс-чемпионате в 2022 году от Высшей школы экономики. Авторы приложения хотят помочь слабослышащим и неслышащим людям, разговаривающим на русском жестовом языке, устранить любые неравенства в общении.

Panto L – уникальное приложение для людей с нарушениями слуха, инновационный алгоритм для перевода РЖЯ в текст с возможностью интеграции на любой носитель.

Принцип работы Panto L:

• приложение сканирует фото жеста и переводит в слово или предложение;

• распознает жесты с видео;

• обучает жестовому языку с помощью онлайн-курсов и VR (дополненной реальности);

• определяет геолокацию, чтобы связать говорящих на РЖЯ, находящихся рядом;

• использует VR в сфере реабилитации, чтобы связать врачей и пациентов.

Алгоритм Panto L использует искусственный интеллект для перевода, сканируя показываемый жест с помощью камеры носителя. Сейчас команда Panto L внедряет алгоритм на интерактивные стойки в больницах, чтобы помочь людям, которые общаются на РЖЯ, объяснить свою проблему врачам быстро и точно без посторонней помощи. А для консультирования онлайн разработан специальный чат-бот как одна из ступеней алгоритма Panto L.

♥ Команда Panto L приглашает всех желающих протестировать приложение и пройти опрос. Ваше участие поможет собрать информацию, необходимую для доработки приложения и его запуска.

♥ Если вы хотите попробовать прототип-приложение, которое показывает, как работает алгоритм Panto L, или предложить сотрудничество, разработчики ждут ваших заявок по электронной почте: app.pantol@gmail.com.