Новый мозговой имплант переводит мысли о письме в текст

Уже в ранних экспериментах парализованный человек с имплантатами в премоторной коре головного мозга набирал 90 символов в минуту, представляя, как пишет их от руки.

Neuralink Илона Маска произвел впечатление на разработчиков нейронных имплантатов, но еще не показал, как мы можем на самом деле их использовать. На данный момент демонстрация перспективности имплантатов остается в руках академического сообщества.

На неделе это сообщество представило впечатляющий пример перспективных возможностей нейронных имплантатов. С помощью импланта парализованный человек набрал около 90 символов в минуту, просто представляя, что пишет их от руки.

В предыдущих экспериментах в этой сфере парализованные люди пытались набирать текст на виртуальной клавиатуре, управляя курсором с помощью имплантатов и разума. Этот процесс эффективен, но медленен и требует полного внимания пользователя, так как он должен отслеживать перемещение курсора и определять, когда выполнять эквивалент нажатия клавиши. Это также требует, чтобы пользователь потратил время на то, чтобы научиться управлять системой.

Но есть и другие возможные пути перевода букв из мозга на страницу. Где-то в процессе написания мысли мы формируем намерение использовать определенную букву, и использование имплантата для отслеживания этого намерения потенциально может сработать. Хотя этот процесс не очень хорошо изучен.

После этого намерения решение передается в моторную кору и переводится в действия. Там есть стадия намерения, когда моторная кора определяет, что она будет формировать букву (например, путем набора текста или письма), которая затем преобразуется в определенные движения мышц, необходимые для выполнения действия. Эти процессы гораздо лучше поняты, и именно они использованы исследовательской группой в своей новой работе.

Исследователи поместили два имплантата в премоторную кору парализованного человека. Считается, что эта область участвует в формировании намерения выполнить движение. Улавливание таких намерений с большей вероятностью даст четкий сигнал, чем улавливание самих движений, которые, вероятно, будут сложными (любое движение задействует несколько мускулов) и зависит от контекста (где ваша рука находится относительно страницы, на которой вы пишете и так далее).

Установив имплантаты в нужном месте, исследователи попросили участника представить, как пишут буквы на странице, и записали нейронную активность, как он это делал.

Всего в премоторной коре головного мозга участника было около 200 электродов. Не все из них были информативными для написания писем. Но для тех, которые были, авторы провели анализ главных компонентов, выявив особенности нейронных записей, которые больше всего различались при представлении различных букв. При преобразовании этих записей в двухмерный график стало очевидно, что действия при написании одного символа всегда сгруппированы вместе. И физически похожие символы - например, p и b или h, n и r - образовывали кластеры рядом друг с другом.

Исследователи также попросили участников поставить знаки препинания, такие как запятая и вопросительный знак, и использовали знак> для обозначения пробела и тильды для точки.

В целом исследователи обнаружили, что они могут расшифровать соответствующий символ с точностью чуть более 94%, но система требовала относительно медленного анализа после того, как нейронные данные были записаны. Чтобы все работало в реальном времени, исследователи обучили рекуррентную нейронную сеть оценивать вероятность сигнала, соответствующего каждой букве.

Несмотря на работу с относительно небольшим объемом данных (всего 242 предложения символов), система работала замечательно. Задержка между мыслью и буквой, появляющейся на экране, составляла около полсекунды, и участник смог воспроизвести около 90 символов в минуту, что легко превзошло предыдущий рекорд набора текста с помощью имплантата (около 25 символов в минуту). Частота необработанных ошибок составляла около 5%, а применение системы автокоррекции набора текста могло снизить частоту ошибок до 1%.

Все тесты проводились с заранее подготовленными предложениями. Однако после проверки системы исследователи попросили участника напечатать ответы на вопросы в свободной форме. Здесь скорость немного снизилась (75 символов в минуту) и количество ошибок увеличилось до 2% после автокоррекции, но система по-прежнему работала.