大脑活动解码器可以揭示人们脑海中的故事

一种称为语义解码器的新人工智能系统可以将一个人的大脑活动 - 同时听故事或默默想象讲故事 - 转换为连续的文本流。德克萨斯大学奥斯汀分校的研究人员开发的系统可以帮助那些有精神意识但无法说话的人，例如那些因中风而虚弱的人，再次进行可理解的交流。

这项研究发表在《自然神经科学》杂志上，由计算机科学博士生Jerry Tang和UT Austin神经科学和计算机科学助理教授Alex Huth领导。这项工作部分依赖于变压器模型，类似于Open AI的ChatGPT和Google的Bard的模型。

与开发中的其他语言解码系统不同，该系统不需要受试者进行外科植入，使该过程是非侵入性的。参与者也不需要只使用规定列表中的单词。在对解码器进行广泛训练后，使用fMRI扫描仪测量大脑活动，其中个人在扫描仪中收听数小时的播客。之后，如果参与者愿意解码他们的想法，他们听一个新故事或想象讲故事可以让机器仅从大脑活动生成相应的文本。

“对于一种非侵入性方法，与以前所做的相比，这是一个真正的飞跃，通常是单个单词或短句，”Huth说。“我们正在获得一个模型，可以在很长一段时间内解码具有复杂想法的连续语言。

结果不是逐字逐句的成绩单。相反，研究人员设计它来捕捉所说的或想法的要点，尽管并不完美。大约一半的时间，当解码器被训练来监控参与者的大脑活动时，机器产生的文本与原始单词的预期含义非常接近(有时是精确匹配的)。

例如，在实验中，一个参与者听演讲者说，“我还没有我的驾驶执照”，他们的想法被翻译为“她甚至还没有开始学习开车。听了这句话，“我不知道该尖叫、哭泣还是逃跑。相反，我说，'别管我!'“被解码为，”开始尖叫和哭泣，然后她只是说，'我告诉你不要管我。

从在线预印本出现的论文的早期版本开始，研究人员解决了有关该技术潜在滥用的问题。本文描述了解码如何只与自愿参与解码器培训的合作参与者一起工作。解码器没有接受过训练的个体的结果是无法理解的，如果解码器接受过训练的参与者后来提出抵抗——例如，通过思考其他想法——结果同样无法使用。

“我们非常认真地对待它可能被用于不良目的的担忧，并努力避免这种情况，”唐说。“我们希望确保人们只在他们想要的时候使用这些类型的技术，并且这对他们有帮助。

除了让参与者听或思考故事外，研究人员还要求受试者在扫描仪中观看四个简短的无声视频。语义解码器能够利用他们的大脑活动来准确描述视频中的某些事件。

该系统目前不适合在实验室外使用，因为它依赖于fMRI机器所需的时间。但研究人员认为，这项工作可以转移到其他更便携的大脑成像系统，例如功能性近红外光谱(fNIRS)。

“fNIRS测量不同时间点大脑中或多或少的血流，事实证明，这与fMRI正在测量的信号完全相同，”Huth说。“因此，我们的确切方法应该转化为fNIRS，”尽管他指出，fNIRS的分辨率会更低。

该研究的其他合著者是Huth实验室的前研究助理Amanda LeBel和UT Austin的计算机科学研究生Shailee Jain。Alexander Huth和Jerry Tang提交了与这项工作相关的PCT专利申请。

常见问题

这项技术是否可以在他们不知情的情况下用于他们，例如审讯政治犯的专制政权或监视雇员的雇主?哈哈该系统必须在拥有大型昂贵设备的设施中接受有关自愿主题的广泛培训。“一个人需要花长达15个小时躺在MRI扫描仪中，保持完全静止，并很好地注意他们正在听的故事，然后才能真正发挥作用，”Huth说。

可以完全跳过培训吗?哈哈研究人员在没有接受过培训的人身上测试了该系统，发现结果难以理解。

有没有办法防止他们的想法被解码?是的。研究人员测试了以前参加过训练的人是否可以积极抵抗随后的大脑解码尝试。像思考动物或安静地想象讲述自己的故事这样的策略让参与者轻松而彻底地阻止系统恢复该人所接触的语音。

如果技术和相关研究有一天能够克服这些障碍或防御，那会怎样?“我认为现在，虽然这项技术处于如此早期的状态，但重要的是要积极主动地制定保护人们及其隐私的政策，”唐说。“规范这些设备的用途也非常重要。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！