Функциональная магнитно-резонансная томография, или фМРТ, является одним из самых передовых инструментов для понимания того, как мы думаем. Когда человек в сканере фМРТ выполняет различные умственные задачи, машина создает завораживающие и красочные изображения его мозга в действии.
Глядя таким образом на чью-то активность мозга, нейробиологи могут сказать, какие области мозга использует человек, но не то, что этот человек думает, видит или чувствует. Исследователи пытались взломать этот код на протяжении десятилетий — и теперь, используя искусственный интеллект для обработки чисел, они добились серьезного прогресса. Два ученых из Японии недавно объединили данные фМРТ с передовым искусственным интеллектом, генерирующим изображения, чтобы перевести активность мозга участников исследования обратно в изображения, которые сверхъестественным образом напоминали те, которые они видели во время сканирования. Оригинальные и воссозданные изображения можно увидеть на сайте исследователей.
«Мы можем использовать такие методы для создания потенциальных интерфейсов мозг-машина», — говорит Ю Такаги, нейробиолог из Университета Осаки в Японии и один из авторов исследования. Такие будущие интерфейсы могли бы когда-нибудь помочь людям, которые в настоящее время не могут общаться, например, людям, которые внешне кажутся невосприимчивыми, но могут все еще быть в сознании. Исследование было недавно принято для представления на конференции 2023 года по компьютерному зрению и распознаванию образов.
Исследование произвело фурор в сети с тех пор, как в декабре 2022 года оно было опубликовано. Онлайн-комментаторы даже сравнили эту технологию с «чтением мыслей». Но такое описание преувеличивает возможности этой технологии, говорят эксперты.
«Я не думаю, что мы читаем мысли», — говорит Шейли Джейн, вычислительный нейробиолог из Техасского университета в Остине, которая не участвовала в новом исследовании. «Я не думаю, что технология хоть сколько-нибудь близка к тому, чтобы быть действительно полезной для пациентов или использоваться для плохих вещей — в данный момент. Но мы становимся лучше день ото дня».
Новое исследование — далеко не первое, в котором ИИ использовал активность мозга для реконструкции изображений, просматриваемых людьми. В эксперименте 2019 года исследователи из Киото, Япония, использовали тип машинного обучения, называемый глубокой нейронной сетью, для реконструкции изображений из МРТ-сканов . Результаты больше походили на абстрактные картины, чем на фотографии, но судьи-люди все же могли точно сопоставить изображения, созданные искусственным интеллектом, с оригинальными изображениями.
С тех пор нейробиологи продолжили эту работу с более новыми и лучшими генераторами изображений ИИ. В недавнем исследовании ученые использовали Stable Diffusion, так называемую модель диффузии от лондонского стартапа Stability AI. Диффузионные модели — категория, в которую также входят генераторы изображений, такие как DALL-E 2, — являются «главным героем взрыва ИИ», — говорит Такаги. Эти модели учатся, добавляя шум к своим тренировочным изображениям. Как и помехи на телевидении, шум искажает изображения, но предсказуемым образом, и модель начинает учиться. В конечном итоге модель может создавать изображения только из «статических».
Какие нейросети используются для анализа снимков
Выпущенная для широкой публики в августе 2022 года программа Stable Diffusion была обучена на миллиардах фотографий и подписей к ним. Он научился распознавать закономерности в изображениях, поэтому по команде может смешивать и сопоставлять визуальные элементы для создания совершенно новых изображений. «Вы просто говорите ему: «Собака на скейтборде», и тогда он сгенерирует собаку на скейтборде», — говорит Айрис Гроен, нейробиолог из Амстердамского университета, не участвовавшая в новом исследовании. Исследователи «просто взяли эту модель, а затем сказали: «Хорошо, теперь мы можем связать ее разумным образом со сканированием мозга?»
Сканирование мозга, используемое в новом исследовании, взято из исследовательской базы данных, содержащей результаты более раннего исследования, в котором восемь участников согласились регулярно лежать в сканере фМРТ и просматривать 10 000 изображений в течение года. Результатом стало огромное хранилище данных фМРТ, показывающих, как зрительные центры человеческого мозга (или, по крайней мере, мозг этих восьми человек-участников) реагируют на просмотр каждого из изображений. В недавнем исследовании исследователи использовали данные четырех первоначальных участников.
Для генерации реконструированных изображений модель ИИ должна работать с двумя разными типами информации: визуальными свойствами изображения более низкого уровня и его значением более высокого уровня. Например, это не просто угловатый вытянутый объект на голубом фоне — это самолет в небе. Мозг также работает с этими двумя видами информации и обрабатывает их в разных областях. Чтобы связать сканирование мозга и ИИ вместе, исследователи использовали линейные модели, чтобы соединить части каждого из них, которые имеют дело с визуальной информацией более низкого уровня. Они также сделали то же самое с частями, которые обрабатывают концептуальную информацию высокого уровня.
«По сути, сопоставив их друг с другом, они смогли создать эти изображения», — говорит Гроен. Затем модель ИИ могла бы узнать, какие тонкие паттерны в активации мозга человека соответствуют тем или иным особенностям изображений. Как только модель смогла распознать эти паттерны, исследователи передали ей данные фМРТ, которых она никогда раньше не видела, и поручили ей создать соответствующее изображение. Наконец, исследователи могли сравнить сгенерированное изображение с оригиналом, чтобы увидеть, насколько хорошо работает модель.
Многие из пар изображений, которые авторы демонстрируют в исследовании, выглядят поразительно похожими.
Модель стабильной диффузии не обязательно обрабатывает изображения так же, как это делает мозг, даже если он способен генерировать аналогичные результаты. Авторы надеются, что сравнение этих моделей и мозга может пролить свет на внутреннюю работу обеих сложных систем.
Какой бы фантастической ни казалась эта технология, она имеет множество ограничений. Каждая модель должна быть обучена и использовать данные только одного человека. «Мозг у всех действительно разный, — говорит Линн Ле, нейробиолог из Университета Радбауд в Нидерландах, не участвовавшая в исследовании. Если бы вы хотели, чтобы ИИ реконструировал изображения из ваших сканов мозга, вам пришлось бы обучить специальную модель, а для этого ученым потребуются массивы высококачественных данных фМРТ вашего мозга. Если вы не согласитесь лежать совершенно неподвижно и концентрироваться на тысячах изображений внутри лязгающей, вызывающей клаустрофобию трубки МРТ, ни одна из существующих моделей ИИ не будет иметь достаточно данных, чтобы начать расшифровывать активность вашего мозга.
Джайн объясняет, что даже с такими данными модели ИИ хороши только для тех задач, для которых они специально обучены. Модель, обученная тому, как вы воспринимаете изображения, не будет работать для того, чтобы попытаться расшифровать концепции, о которых вы думаете, хотя некоторые исследовательские группы, в том числе группа Джейна, создают для этого другие модели.
До сих пор неясно, будет ли эта технология работать для восстановления изображений, которые участники только вообразили, а не видели своими глазами. Эта способность будет необходима для многих приложений технологии, таких как использование интерфейсов мозг-компьютер, чтобы помочь тем, кто не может говорить или жестикулировать, общаться с миром.
«С нейробиологической точки зрения создание технологии декодирования дает много преимуществ, — говорит Джейн. Но потенциальные выгоды связаны с потенциальными этическими трудностями, и их решение станет еще более важным по мере совершенствования этих методов. Нынешние ограничения технологии — «недостаточное оправдание, чтобы легкомысленно относиться к потенциальному вреду декодирования», — говорит она. «Я думаю, что сейчас самое время подумать о конфиденциальности и негативном использовании этой технологии, хотя мы, возможно, еще не на том этапе, когда это может произойти».
