近日，我院张雪英教授团队在多模态情感脑机接口研究方面取得重要进展，相关成果以"Spatiotemporal Alignment for EEG-fNIRS Emotion Recognition"为题，发表于情感计算领域顶级国际期刊《IEEE Transactions on Affective Computing》（IEEE TAFFC）。23级博士研究生李海烽为第一作者，张雪英教授与陈桂军副教授为通讯作者，周雅茹博士、吴泽林博士、黄丽霞及孙颖副教授为共同作者。这也是我校以第一署名单位在该期刊发表的首篇论文。

《IEEE Transactions on Affective Computing》由IEEE计算机协会出版，是情感计算、脑机接口及人机交互领域的顶级国际期刊，最新影响因子约9.8，位列JCR Q1区，同时被中科院分区列为计算机科学一区TOP期刊。

脑电（EEG）与功能近红外光谱（fNIRS）是情感识别领域最具代表性的两种神经生理信号，前者具有高时间分辨率，后者具有高空间分辨率，二者在生理特性上天然互补。然而，由于神经电活动与血氧动力学响应在时间分辨率与响应延迟上存在固有差异，如何实现两模态在时空层面的有效对齐与融合，是多模态情感识别领域的核心挑战之一。

研究团队受大脑神经血管耦合机制启发，针对EEG与fNIRS在情感表达上的时空差异性，提出了一种端到端的EEG-fNIRS时空对齐网络（ENSTAN）。该方法有效解决了多模态脑信号融合中时空分辨率不一致的问题，为构建高精度、鲁棒的脑情感监测系统提供了新思路。