哥伦比亚大学的神经工程师们创造了一种可以将思维转换成可理解、可识别的语言的系统，这在科学界尚属首次。通过监测一个人的大脑活动，这项技术可以以前所未有的清晰度重建一个人听到的话。这一突破利用了语音合成器和人工智能的力量，可能会为计算机与大脑直接通信带来新的方式。它还为帮助那些不能说话的人，比如患有肌萎缩性脊髓侧索硬化症(ALS)或中风后恢复的人，重新获得与外界沟通的能力奠定了基础。
这些发现发表在今天的《科学报告》上。
“我们的声音帮助我们联系到我们的朋友,家人和我们周围的世界,这就是为什么失去的力量的人的声音由于受伤或疾病是如此具有破坏性,“尼玛Mesgarani说,博士论文的资深作者和哥伦比亚大学首席研究员的莫蒂默b Zuckerman心理大脑行为研究所。“通过今天的研究，我们有一种恢复这种能力的潜在方法。我们已经证明，有了正确的技术，这些人的思想可以被任何听众解码和理解。”
数十年的研究表明，当人们说话时，甚至是想象说话时，大脑中就会出现一些活动模式。当我们听别人说话或想象在听时，也会出现明显的(但可识别的)信号模式。试图记录和解码这些模式的专家们看到了这样一个未来:思想不需要隐藏在大脑中，而是可以随意转换成语言。
但事实证明，完成这一壮举颇具挑战性。Mesgarani博士和其他人早期解码大脑信号的努力主要集中在分析声谱图的简单计算机模型上，声谱图是声音频率的视觉表征。
但由于这种方法没有产生任何类似于可理解的语音，梅斯加拉尼博士的团队转而求助于一种声码器，这是一种计算机算法，可以在对人们的谈话录音进行训练后合成语音。
“亚马逊回声(Amazon Echo)和苹果Siri使用的是同样的技术，可以对我们的问题做出口头回答，”梅斯加拉尼博士说。
为了教会声码器解读大脑活动，梅斯加拉尼博士与阿什什·迪内什·梅塔博士(Ashesh Dinesh Mehta)进行了合作。梅塔博士是诺斯韦尔健康医师合作伙伴神经科学研究所(Northwell Health Physician Partners Neuroscience Institute)的神经外科医生，也是今天这篇论文的作者之一。梅塔医生治疗癫痫患者，其中一些患者必须定期接受手术。
Mesgarani博士说:“我们与Mehta博士合作，让已经接受脑部手术的癫痫病人听不同人说的句子，同时测量大脑活动的模式。”“这些神经模式训练了声码器。”
接下来，研究人员让这些患者听讲话者背诵0到9之间的数字，同时记录大脑信号，这些信号可以通过声码器传递。声码器根据这些信号发出的声音被神经网络分析和清理，神经网络是一种模仿生物大脑神经元结构的人工智能。
最终的结果是一个机器人般的声音背诵了一串数字。为了测试录音的准确性，梅斯加拉尼博士和他的团队要求受试者听录音并汇报他们所听到的内容。
梅斯加拉尼博士说:“我们发现，在75%的时间里，人们都能听懂和重复这些声音，这远远超过了之前的任何尝试。”在可懂度方面的改进是特别明显的，当比较新的录音和早期的，基于谱图的尝试。“灵敏的声码器和强大的神经网络以惊人的准确度代表了患者最初听到的声音。”
梅斯加拉尼博士和他的团队计划接下来测试更复杂的单词和句子，他们希望对一个人说话或想象说话时发出的大脑信号进行同样的测试。最终，他们希望他们的系统可以成为植入物的一部分，类似于一些癫痫患者所戴的装置，直接将佩戴者的想法转化为文字。
梅斯加拉尼博士说:“在这种情况下，如果佩戴者认为‘我需要一杯水’，我们的系统就会接收这种想法产生的大脑信号，并将其转化为合成的言语。”“这将改变游戏规则。它将给那些因为受伤或疾病而失去说话能力的人，一个重新与周围世界建立联系的机会。”