Команда исследователей из Университета Брауна использовала интерфейс мозг-компьютер для восстановления английских слов по нервным сигналам, записанным в мозге нечеловеческих приматов. Исследование, опубликованное в журнале Природа Коммуникации 9 класс#, исследователи считают, что это может быть шагом к разработке мозговых имплантатов, которые помогут людям с потерей слуха.

«Что мы сделали, так это записали сложные паттерны нервного возбуждения во вторичной слуховой коре, связанные со слухом приматов». сказал Арто Нурмикко, профессор в Школе инженерии Брауна, научный сотрудник в Институте мозга им. Карни Брауна. Наука и старший автор исследования. «Затем мы используем эти нейронные данные, чтобы восстановить звучание этих слов точно.

«Главная цель. лучше понять, как обрабатывается звук в мозгу приматов. добавил Нурмикко. что в результате приводит к новым типам нейронного протезирования».

Мозговые позволяющей вести бухгалтерский учет (софт), вовлеченные в первоначальную обработку звука, схожи у людей и нечеловеческих приматов. Первый уровень обработки, который происходит в так называемой первичной слуховой коре, сортирует звуки по таким атрибутам, как высота по другому тон. Затем сигнал перемещается во вторичную слуховую кору, где обрабатывается дальше. Например, когда кто-то слушает произнесенные слова, тут звуки классифицируются по фонемам. самые элементарные функции, позволяющие нам отличать одно слово от другого. Спустя время информация отправляется в другие части мозга для обработки, которая позволяет человеку понимать речь.

Однако поскольку эта обработка звука на ранней стадии похожа у людей и приматов, не являющихся людьми, изучение того, как приматы обрабатывают слова, которые они слышат, полезно, пусть даже если они, вероятно, не понимают, что означают эти слова.

Для исследования два имплантата размером с горошину с 96-канальными микроэлектродными массивами регистрировали активность нейронов, хотя макаки-резус слушали записи отдельных английских слов и вызовов макака. И тогда макаки слышали довольно простые одно- по другому двухсложные слова «дерево», «хорошо», «север», «крикет» и «программа».

Исследователи обрабатывали нейронные записи с применением компьютерных алгоритмов, специально разработанных для распознавания нейронных паттернов, связанных с конкретными словами. Оттуда нейронные данные как правило бывают переведены обратно в компьютерную речь. Наконец, команда использовала несколько метрик для оценки того, насколько близко восстановленная речь соответствовала исходному произнесенному слову, которое слышала макака. Исследование показало, что записанные нейронные данные производили высококачественные реконструкции, понятные для слушателя.

Исследователи говорят, что использование многоэлектродных матриц для записи такой сложной слуховой информации было первым.

«Ранее в период работы были собраны данные из вторичной слуховой коры с одиночными электродами, но, насколько нам известно, это первая многоэлектродная запись из этой части мозга». сказал Нурмикко. «По сути, у нас бывают около 200 постов для прослушивания под микроскопом, которые дадут нам богатство и более высокое разрешение данных, которое требуется».

Одной из целей исследования, которому докторант Джихун Ли руководил экспериментами, было проверить, работает ли какой-либо конкретный алгоритм модели декодирования лучше других. Исследование, проведенное сотрудничая с Уилсоном Трукколо, экспертом по вычислительной нейробиологии, показало, что рекуррентные нейронные сети (RNN), тип алгоритма машинного обучения, часто используемого в компьютерном переводе языка, приводят к реконструкциям с наивысшей точностью. RNN существенно превосходили более традиционные алгоритмы, которые, как было показано, эффективны при декодировании нейронных данных из других частей мозга.

Кристофер Хилан, научный сотрудник компании Brown и соавтор исследования, считает, что успех RNN обусловлен их гибкостью, что важно при декодировании сложной слуховой информации.

«Более традиционные алгоритмы, используемые для нейронного декодирования, делают серьезные предположения что, как мозг кодирует информацию, все это ограничивает способность этих алгоритмов моделировать нейронные данные». сказал Хилан, который разработал вычислительный инструментарий для исследования. «Нейронные сети делают более слабые предположения и имеют не просто параметров, позволяющих им выучить сложные отношения между нейронными данными и экспериментальной задачей».

В результате, как надеются исследователи, такого рода исследования помогут в разработке нейронных имплантатов, которые помогут в восстановлении слуха людей.

«Вдохновенный сценарий состоит по поводу того, что мы разрабатываем позволяющей вести бухгалтерский учет (софт), которые обходят основную долю слухового аппарата и попадают прямо в мозг». сказал Нурмикко. «Те же самые микроэлектроды, которые мы использовали для записи нейронной активности тут исследовании, быть однажды быть использованы для подачи небольших количеств электрического тока в схемах, которые дают людям ощущение того, что они слышат определенные звуки».