Технология видеоигр помогла парализованной женщине снова говорить
В ходе исследования удалось расшифровать сигналы мозга женщины в три формы общения.
Компания Speech Graphics из Эдинбурга и исследователи из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли создают первый в мире интерфейс «мозг-компьютер», который синтезирует речь и выражение лица на основе сигналов мозга, открывая путь к восстановлению естественного общения для тех, кто не может говорить.
То же программное обеспечение, которое используется для управления лицевой анимацией в таких играх, как The Last Of Us Part II и Hogwarts Legacy, превращает мозговые волны в говорящего цифрового аватара.
В новаторском исследовании Speech Graphics , пионере в области лицевой анимации на основе искусственного интеллекта, сотрудничала с исследователями из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли, чтобы помочь парализованной женщине в США общаться с помощью цифрового аватара, управляемого через интерфейс мозг-компьютер (BCI).
В ходе исследования удалось расшифровать сигналы мозга женщины в три формы общения: текст, синтетический голос и лицевую анимацию на цифровом аватаре, включая синхронизацию губ и эмоциональные выражения. Это первый случай, когда лицевая анимация была синтезирована из сигналов мозга, и статья, подробно описывающая этот исследовательский прорыв, должна появиться в августовском выпуске научного журнала Nature.
Команду возглавил Эдвард Чанг, доктор медицинских наук, заведующий кафедрой неврологической хирургии в Калифорнийском университете в Сан-Франциско, который десять лет работал над интерфейсами «мозг-компьютер». Они имплантировали прямоугольник толщиной с бумагу из 253 электродов на поверхность мозга женщины в областях, которые, как обнаружила его команда, имеют решающее значение для речи. Электроды перехватывали сигналы мозга, которые, если бы не инсульт, дошли бы до мышц языка, челюсти, гортани и лица. Кабель, подключенный к порту, прикрепленному к ее голове, соединил электроды с блоком компьютеров, что позволило в течение нескольких недель обучить алгоритмы ИИ распознавать активность мозга, связанную со словарным запасом, состоящим из более чем 1000 слов. Благодаря ИИ женщина могла «писать» текст, а также «говорить», используя синтезированный голос, основанный на записях ее настоящего голоса до того, как ее парализовало.
Исследователи также работали с Майклом Бергером, техническим директором и соучредителем Speech Graphics, чтобы расшифровать эту мозговую активность в движениях лица. Технология анимации лица на основе искусственного интеллекта компании Speech Graphics, чаще используемая для создания реалистичной анимации лица в видеоиграх, включая Halo Infinite, Hogwarts Legacy и The Last of Us Part II, имитирует мышечные сокращения с течением времени, включая речевую артикуляцию и невербальную активность. Этот процесс обычно управляется аудиовходом: программное обеспечение анализирует звук и реконструирует сложные движения мышц лица, языка и челюсти, которые должны были произойти при воспроизведении этого звука. В одном из подходов команда использовала синтезированный голос субъекта в качестве входных данных для системы речевой графики вместо ее реального голоса, чтобы управлять мышцами. Программное обеспечение компании, работающее в режиме реального времени, затем преобразовывало движения мышц в 3D-анимацию в движке видеоигры. Результатом стал реалистичный аватар субъекта, который точно произносил слова синхронно с синтезированным голосом в результате ее усилий по общению.
Однако во втором подходе, который является еще более новаторским, сигналы мозга испытуемого были связаны непосредственно с моделируемыми мышцами, что позволило им служить аналогом нефункционирующих мышц испытуемого. Она также могла заставить аватара выражать определенные эмоции и двигать отдельными мышцами.
«Создание цифрового аватара, который может говорить, выражать эмоции и выражать свои мысли в режиме реального времени и напрямую связан с мозгом субъекта, демонстрирует потенциал лиц, управляемых искусственным интеллектом, далеко за пределами видеоигр. Когда мы говорим, это сложная комбинация звуковых и визуальных сигналов, которая помогает нам выразить то, что мы чувствуем и что хотим сказать. Восстановление голоса само по себе впечатляет, но общение с помощью лиц настолько присуще человеку, что оно возвращает ощущение воплощения и контроля пациенту, который его потерял. Я надеюсь, что работа, которую мы проделали совместно с профессором Чангом, сможет помочь еще многим людям», — сказал Майкл Бергер, технический директор и соучредитель Speech Graphics.
«Мы восполняем связи между мозгом и речевым трактом, которые были разорваны инсультом. Когда субъект впервые использовал эту систему, чтобы говорить и одновременно двигать лицом аватара, я знал, что это будет иметь реальный эффект», — сказал Кайло Литтлджон, аспирант, работающий с Чангом, и Гопала Ануманчипалли, доктор философии, профессор электротехники и компьютерных наук Калифорнийского университета Беркли.
«Наша цель — восстановить полный, воплощенный способ общения, который действительно является для нас наиболее естественным способом общения с другими. Эти достижения приближают нас к тому, чтобы сделать это реальным решением для пациентов», — сказал профессор Чанг, заведующий кафедрой неврологической хирургии в UCSF и член Института нейронауки UCSF Weill.
Команда надеется, что в ближайшем будущем это приведет к созданию одобренной FDA системы, которая позволит говорить на основе сигналов мозга.
Speech Graphics:
Компания Speech Graphics предлагает новаторскую технологию лицевой анимации на основе искусственного интеллекта для индустрии развлечений, работая с такими клиентами, как Warner Brothers, Epic Games, Techland, Crystal Dynamics, Xbox Game Studios, Naughty Dog и другими.
Основная технология движка основана на более чем 20-летних научных исследованиях в области лингвистики, биомеханики, психологии, машинного обучения и компьютерной графики под руководством основателей Михаэля Бергера и Грегора Хофера. Компания получила несколько наград за свою технологию речевой анимации, в том числе TIGA 2022 года за лучшие инструменты, технологии и инновации. Программное обеспечение создает высококачественную лицевую анимацию только на основе звука, без необходимости захвата движения. Компания Speech Graphics, имеющая офисы в Эдинбурге, Сан-Франциско, Будапеште и Сингапуре, является надежным глобальным партнером в области звуковой лицевой анимации, используемой 90% издателей видеоигр класса ААА.
