当前位置:首页>新闻 > 正文

环球视点!算法读心,仅用fMRI即可读取你的所听所想?

  • 2023-01-07 01:50:20来源:


(相关资料图)

9 月 23 日,bioRxiv 上刊登的一篇预印论文 * 中,美国德克萨斯州大学奥斯汀分校的团队详细介绍了一种 " 解码器 "(算法)。它可以通过 " 读取 " 被试在功能性磁共振成像(fMRI)扫描期间所听所想到的词语。虽然此前也有其他科学团队基于脑植入物传出的信号完成过语言或者图像的重构,但通过这种新型解码器,科学家们首次在无创的情况下也能达到相同目的。

* 译者注

预印论文,指未经同行评审、没有正式发表在科学期刊上的文章。

Tang, Jerry, et al. "Semantic reconstruction of continuous language from non-invasive brain recordings." bioRxiv ( 2022 ) .

https://doi.org/10.1101/2022.09.29.509744

德州大学奥斯汀分校的神经科学家、该论文的合著者亚历山大 · 休斯(Alexander Huth)说道:" 如果你去问二十年前的神经科学家们能不能这样解码大脑活动,他们绝对会笑掉大牙的!"

日本京都大学的神经科学家神谷之康(Yukiyasu Kamitani)虽然并未参与实验,但他在给《科学家》(The Scientist)发来的邮件里写道,这种非侵入式解码器能产生可以让人理解的语言序列,这让他感到 " 非常兴奋 "。他说:" 这一研究 ...... 为(脑机接口)的应用打下了坚实的基础。"

事实上,fMRI 产出数据的速度比人类思维的速度要慢很多,因此 fMRI 并不是很适用于这种研究。大脑活动往往伴随着脑内血流量的变化 *,fMRI 的原理就是通过检测这些血流的变化成像、对大脑活动作近似,而非直接探测神经元活动。但是相对于发生于毫秒之间的神经元放电,以秒为单位的血流量变化还是较慢。对此,休斯表示能在该研究中使用 fMRI 的原因在于,他们的实验系统并非逐字解码大脑中的语言,而是辨别句子或者想法这些更高层次结构的意义。

血液会流向大脑里更为活跃的区域以供氧。

休斯和同事们在训练算法时用到了三名被试的 fMRI 大脑数据。被试者均在 20 到 30 岁之间,其中有一名女性以及两名男性。在实验过程中,三名被试收听了播客和广播故事,总计 16 小时。他们听到的内容包括 " 飞蛾电台 "(The Moth Radio Hour)、TED 演讲以及约翰 · 格林(John Green)的《人类史回顾》(The Anthropocene Reviewed)。休斯说,让被试收听不同种类的媒体对于提升算法的准确性和广适性,是很有必要的。他提到,虽然他的研究中被试样本很小,但他们在实验中收集的 fMRI 数据和其他用 fMRI 收集数据的实验数量相当。

解码器通过学习被试长达 16 个小时的 fMRI 数据,对于 fMRI 数据的走向做出了一系列预测。据休斯所说,解码器运用 " 猜测 " 的能力,是它翻译与训练所用音频内容无关想法的关键。然后,解码器会将 " 猜测 " 出来的 fMRI 数据走向与实际 fMRI 数据进行对比,与实际最相符的预测决定了解码器最终产生的语词。

研究人员对解码器的产出与被试者感知到的刺激之间的相似性打分,以此判断解码器是否成功。此外,研究人员还给没有比对过 fMRI 数据的解码器生成的语言打分。接下来,他们对比了这两项得分,并对二者的差别做统计学上的显著性测试。

结果显示,该算法通过猜测 - 比对的程序最终从 fMRI 数据中生成了一个完整的故事。对此,休斯评价道,算法还原的内容与录音中实际讲述的故事已经 " 相差无几 " 了。不过,解码器也有自己的不足之处。比如它不太擅长解析人称指代,还经常搞混第一人称和第三人称。休斯说,解码器 " 可以相对准确地知道发生了什么事,但它不太清楚是谁在做这件事。"

并未参与研究的普林斯顿神经科学研究中心研究员以及讲师山姆 · 纳斯塔瑟(Sam Nastase)认为将 fMRI 应用于解码大脑 " 令人兴奋不已 ",因为用 fMRI 提取数据的过程通常又缓慢杂音又多。纳斯塔瑟还说道:" 从这篇论文看来,只要我们拥有一个足够智能的模型就可以从 fMRI 数据中得出数量可观的信息。"

休斯认为,解码器最令人兴奋的成就在于它对大脑运作的洞察力。比如,我们可以从解码器的解析中看出大脑的哪些部分负责建立语义。通过使用解码器记录特定脑区,像前额叶皮层或者顶叶 - 颞叶皮层,休斯的科学团队能够确定各个区域对应的语义信息。休斯的团队就是这样发现了前额叶皮层和顶叶 - 颞叶皮层对解码器表征了相同信息的。不管解码器使用来自其中哪一个区域的测量数据都能够很好地完成解析。

休斯还补充道,最令人惊喜的是虽然训练解码器使用的是被试在听取口头语言时的数据,但它却可以重构非语义类别的刺激信号。举例来说,在经过训练后,解码器算法成功重构出了被试在看默剧、或想象自己讲故事的场景时的信息。休斯对此评价道:" 这些内容可以被解码器重构出来就证明它们(在大脑中的表征)之间是存在某些共性的。这为我们提供了一个非常新颖的角度。"

神谷和纳斯塔瑟对休斯实验室还未经同行评审的结论提出了这样的疑惑:" 解码器在处理潜在含义与处理文本或语音的过程有何不同?" 由于休斯实验室的解码器解析的是语义,而非逐个词语,我们难以衡量它成功与否。用纳斯塔瑟的话来说,这是因为有很多种语词的组合都能算作是 " 好 " 的输出。" 不过他们引入的问题很有意思。" 纳斯塔瑟说。

休斯承认,对于一部分人来说,能有效 " 读心 " 的技术听起来有些让人毛骨悚然。不过他的团队对研究的现实意义进行了深入的思考。而且考虑到精神隐私的保护问题,他们还研究了解码器是否会在被试不愿意合作的情况下解析信息。在部分实验中,研究人员要求被试者在听取音频时进行其他心理活动来分散自己的注意,比如数数、命名和想象动物、以及在脑子里编一个跟音频内容不一样的故事。最后他们发现,想象动物是最能够降低解码准确率的操作。

从信息隐私的角度来看,用一个人的大脑数据训练出来的解码器是无法被应用到另一个人身上的,用休斯的话说,这 " 基本上没有提供任何可用的信息。" 也就是说,我们只能解析出大量参与了解码器训练的人的想法。

对于纳斯塔瑟而言,研究人员特意关注了是否有精神隐私受到保护的证据是令人赞许的。他说:" 如果不做精神隐私相关的实验测试,他们完全可以早六个月就发表这篇论文。" 不过,纳斯塔瑟并没有完全被研究者提供的隐私保护相关证据说服,因为未来这个方向的其他研究很可能会突破他们设置的精神隐私保护的权宜之计。纳斯塔瑟补充道:" 这关乎到我们是否将科技带来的益处看得比这些潜在(道德)陷阱更重要。"

作者:Grace van Deelen

译者:Blue Froid l 校对:M.W.

标签:

延伸阅读

推荐阅读

环球视点!算法读心,仅用fMRI即可读取你的所听所想?

9月23日,bioRxiv上刊登的一篇预印论文*中,美国德克萨斯州大学奥斯汀分校的团队详细介绍了一种 "解码器 "(算法)。它可以通过 "读取

世界看点:首个国产“人工肺”获批上市

治疗新冠重症,我们有了自己的“救命神器”——国产体外膜肺氧合(extra-corporealmembraneoxygenation,ECMO)设备。  1月5日,国家药监局发

【环球热闻】未对承包单位的安全生产统一协调、管理 湖南珠江实业投资有限公司被罚2.8万元

中国质量新闻网讯(刘着之)1月3日,长沙市住房和城乡建设局发布《长沙市住建领域行政处罚决定信息公示》,曝光了一批企业不诚信行为。湖南珠

环球最新:外交部回应谭德塞言论:中国疫情形势可控 各国防疫应适度

【外交部回应谭德塞言论:中国疫情形势可控各国防疫应适度】毛宁在回应中再次强调,“中国的疫情形势是可控的,各国的防疫措施应当科学适度...

每日简讯:2023福州长乐区公租房申请时间

2023长乐区公租房申请时间于2022年12月20日起的工作日提出申请。长乐区保障方式实行实物配租和租赁补贴并举,由区住宅发展中心结合房源供应情

隆利科技:公司自成立以来,一直专注于背光显示模组行业,主要的竞争对手为行业内的背光显示模组企业

同花顺(300033)金融研究中心1月5日讯,有投资者向隆利科技(300752)提问,公司有有哪些竞争对手?产能和技术在行业中处于什么地位?公司回

热文:2022年“双进”服务“双减” 全国科技馆联合行动收官

光明网讯1月5日,由中国科技馆主办、重庆科技馆主承办,全国30余家科普场馆共同参与的2022年“双进”服务“双减”全国科

即时:从校服到婚纱,青春正好,时光正好《时光与他,恰是正好》腾讯视频开播!

年少亦知爱,心动正逢时。2022年年底迎来一部青春校园力作,由企鹅影视出品,开火文化承制,改编自晋江文学城蒋牧童小说,陈

苹果市值跌破2万亿美元大关,股价大跌的苹果到底怎么了?

在世界市场上,苹果一直都是市场上最受关注的互联网公司,也是少数几个市值万亿美元的巨头,然而就在北京时间1月4日早间苹果股价大跌,市值跌

NVIDIA Ada 架构和40系列GPU引入笔记本电脑,RTX 4070 Ti 显卡,以及创作者重大更新

CES2023开幕,NVIDIA发布一系列游戏和创作者新闻,其中包括GeForceRTX40系列笔记本电脑--首次发布的90级笔记本电脑GPU;用于台式机的GeForceRTX

今日快看!太湖度假区新冠康养门诊(地点+时间+电话)

太湖度假区新冠康养门诊:苏州太湖国家旅游度假区人民医院门诊时间:上午08:00-11:00;下午13:00-16:30地点:度假区医院门诊三楼中医馆咨询电话:0

天天观热点:国网南召县供电公司:立体巡检应对寒潮 提高供电可靠性

“110千伏白马线2号杆杆体、导线完好,没有看到明显发热点。”近日,国网南召县供电公司组织输电运检工作人员采用“无人机巡检+人工巡检”...

世界快资讯丨形容自己不尽孝的句子(精选171句)

形容自己不尽孝的句子精选102句1 父不慈则子不孝,兄不友则弟不恭,夫不义则妇不顺。2 爸、妈,今年的清明已过去。我何止这一天想起你俩,梦中

全球最新:爱了爱了!100出头就能入手的棉服马甲,简直是秋冬叠穿天花板

爱了爱了!100出头就能入手的棉服马甲,简直是秋冬叠穿天花板

观热点:一心堂怎么网上购买抗原检测试剂

一心堂怎么网上购买抗原检测试剂售价:27 5元 5人份配送方式:快递配送(2-3天)购买流程:进入一心堂小程序后,搜索“抗原检测”即可进入...

怎样让自己看起来更年轻?

随着岁月的流逝,我们的肌肤也逐渐走了下坡路,特别是脸部,逐渐出现了松弛,下垂等问题,严重一些的甚至还出现了各种皱纹。年轻貌美是每个人

吴维海:实现技术变革与科技创新 驱动双碳发展

新华网泉州12月30日电(吴汉章)12月28日至12月30日,由新华社、福建省人民政府指导,中国上市公司协会等大力支持,新华网、新华社福建分社、

浙江富润2022年全年股价跌幅超两成 受损股民可以索赔吗?

雷达财经文|长帆编|深海2022年正式收官,浙江富润全年股价跌幅为24 15%,振幅为48 57%。在过去的一年中,公司及相关高管曾引发监管关注。2022年

当前通讯!北京热景生物技术股份有限公司 关于募集资金投资项目进展的公告

本公司董事会及全体董事保证本公告内容不存在任何虚假记载、误导性陈述或者重大遗漏,并对其内容的真实性、准确性和完整性承担个别及连带责任

环球今亮点!券商1月金股出炉:这些股获力挺 看好消费、地产等板块

2022年A股市场正式收官,全年来看,沪指累计跌超15%。新年1月如何寻找机会?截至1月1日,有15家券商公布了1月月度投资组合,涉及消费、金融、

涨疯了!铁矿石再创新高117美元!钢价累涨220,钢厂涨80!节后钢价会扶摇直上?

发改委数据显示物流总体收入增长,社会需求有望继续扩大,在宏观政策加力提效下,央行及银保监会保持市场资金量充裕,房地产及汽车先后

元旦假期京郊游人气回升,民宿迎来滑雪客

北京日报客户端|记者潘福达在这个元旦假期,不少市民游客都来到京郊迎新年。各旅游平台数据显示,京郊景区和酒店民宿预订热度回升,部分滑雪场

世界球精选!新年寄语学生 适合给学生的新年寄语

1、新年大吉,作为学生的你们还要更加努力,牛年就要拿出你们的精神牛一次2、深红的果实说:辉煌!辉煌!3、新的一年即将来临了,愿你的学习有

今亮点!广州海关关区超100亿元RCEP货物进出口享惠

”松德丰报关主管汤靖雯表示,今年前11个月,广州海关所属清远海关共为该公司签发RCEP原产地证书74份,涉及货值近6800万元人民币。在广州白云

三孚新科(688359)12月30日主力资金净卖出784.61万元

截至2022年12月30日收盘,三孚新科(688359)报收于67 49元,下跌10 34%,换手率5 88%,成交量2 88万手,成交额2 04亿元。

上交所:禁止房地产和主要从事金融、投资类业务的企业在科创板发行上市

【上交所:禁止房地产和主要从事金融、投资类业务的企业在科创板发行上市】上交所网站30日发布通知称,上海证券交易所对《上海证券交易所科创

天檀:这个方向已燃起熊熊烈火,是当之无愧的热点扛把子!

近期有事没太看盘,今天大致看了一下,跟大家沟通一下几个重点:1、指数在缓慢回升中,但后期不会出现连续大涨的态势,温和震荡小幅攀升是主基

环球简讯:美媒:美国总统拜登签署1.65万亿美元支出法案

参考消息网12月30日报道据美国《华尔街日报》网站30日报道,美国总统拜登签署了一项总额高达1 65万亿美元的支出法案。该法(@参考消息)

天天视讯!传艺科技与国能江苏新能源在新能源、储能等领域达成战略合作

传艺科技与国能江苏新能源在新能源、储能等领域达成战略合作12月30日,传艺科技发布公告称,公司控股孙公司江苏传艺钠电科技有限公司(以下简

【全球聚看点】平安小橙花借款逾期半年延迟还款征信会怎么样

网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天后上报给征信机构,因为有些借贷机构可

猜您喜欢

    Copyright ©  2015-2022 太平洋服装网版权所有  备案号:豫ICP备2022016495号-17   联系邮箱:93 96 74 66 9@qq.com