研究

研究问题

我们研究的问题是:模型在更换采集对象、采集设备或采集时段之后为什么失效,以及如何避免失效。真实观测数据普遍存在三类缺陷:数据缺失、通道错位和分布不一致。手工预处理的参数只适用于调参时所用的那批数据,所以我们不靠手工预处理弥补这些缺陷,而是把它们的处理设计进模型本身,使模型表示输入的空间——即隐空间——不随采集条件变化。

数据缺失
采集过程不可控,传感器损坏、遮挡和断连造成数据缺失。
通道错位
系统结构高度动态,各模态观测的部位在空间上对不齐。
分布不一致
不同对象、不同时段的数据统计性质不同。

当前方向:多模态约束的鲁棒脑电特征提取——训练时用钙成像、皮层脑电等微观神经记录约束脑电的隐空间,使脑机接口跨个体、跨时段保持可靠,而推理时只需脑电。

四项成果依次回答同一条链上的四个问题:隐空间为什么不鲁棒;在单一数据内怎样做稳;跨数据来源与时段怎样保持稳定;跨个体怎样保持稳定。
四项成果依次回答同一条链上的四个问题:隐空间为什么不鲁棒;在单一数据内怎样做稳;跨数据来源与时段怎样保持稳定;跨个体怎样保持稳定。

1 · 隐空间为什么不鲁棒

以第一作者在 Nature Communications(2021)发表的读片研究,用生成对抗网络只改动钼靶影像中的病灶区域。合成影像使诊断模型对 69.1% 原本判断正确的病例给出错误诊断,5 位乳腺影像科医生的识别率为 29%–71%。部分合成病灶长在本不该有乳腺组织的位置,模型却照样给出与真实影像相当的判断,说明其隐空间并不编码解剖结构。该工作曾在 RSNA 2019 作口头报告,后续方向获国家自然科学基金面上项目资助。

在线试用 →

真实影像(上)、生成对抗网络合成影像(中,箭头处为病灶改动)及二者之差(下)。引自 Zhou Q, et al. Nat Commun 2021, 12: 7281, Fig. 2(CC BY 4.0)。
真实影像(上)、生成对抗网络合成影像(中,箭头处为病灶改动)及二者之差(下)。引自 Zhou Q, et al. Nat Commun 2021, 12: 7281, Fig. 2(CC BY 4.0)。

2 · 在同一批数据内部提取鲁棒隐空间

前馈网络中设计者能决定的只有网络架构、激活函数和损失函数三处。我们提出逐层自适应定制激活函数(IEEE TNNLS,2023,通讯作者)、冗余与缺失特征解耦网络 RMFDNet(Engineering Applications of AI,2025,第一作者)和非二值交并比损失(Expert Systems with Applications,2023,第一作者)。

RMFDNet 分别预测分割结果中的缺失特征与冗余特征并加以修复。引自 Zhou Q, et al. Eng Appl Artif Intell 2025, 139: 109459, Fig. 1。
RMFDNet 分别预测分割结果中的缺失特征与冗余特征并加以修复。引自 Zhou Q, et al. Eng Appl Artif Intell 2025, 139: 109459, Fig. 1。

3 · 跨数据来源与时段保持稳定

多中心研究(eClinicalMedicine,2025,共同通讯作者;硕士生金辰为并列第一作者)用化疗前与化疗早期两次磁共振影像早期预测乳腺癌新辅助化疗疗效:孪生网络提取两个时间点的特征,Transformer 建模二者的时空交互。研究纳入 5 家中心 1044 例患者,3 个外部验证队列 AUC 为 0.892–0.923;在两个独立公开队列中,模型判定为疗效良好的病例表现出免疫相关基因上调。

在线试用 →

时空交互模型流程(上)与内部、外部验证(下)。引自 Tang W, Jin C, et al. eClinicalMedicine 2025, 85: 103298, Fig. 2 局部(CC BY 4.0)。
时空交互模型流程(上)与内部、外部验证(下)。引自 Tang W, Jin C, et al. eClinicalMedicine 2025, 85: 103298, Fig. 2 局部(CC BY 4.0)。

4 · 跨个体保持稳定

脑电信号个体差异显著,是脑机接口难以实用的瓶颈。博士生张坤坤提出面向运动想象脑电的掩码自监督对比学习框架(ICASSP 2025),其三个组件与三类数据缺陷一一对应;又提出在线测试时自适应方法,每来一段新脑电即在 40–60 毫秒内更新模型,在两个公开数据集上准确率分别提高 2.22% 和 3.67%(IEEE 仪器与测量汇刊,2026)。

在线自适应方法框架,上为离线训练,下为在线测试。引自 Zhang K, Wu K, Chen Z, Hu H, Zhou Q. IEEE TIM 2026, 75: 4015112,录用稿 Fig. 2。
在线自适应方法框架,上为离线训练,下为在线测试。引自 Zhang K, Wu K, Chen Z, Hu H, Zhou Q. IEEE TIM 2026, 75: 4015112,录用稿 Fig. 2。

当前 · 用跨尺度约束提取鲁棒脑电特征

2024 至 2026 年,负责人在美国威尔康奈尔医学院参与小鼠皮层宽场钙成像、双光子钙成像与透明皮层脑电的同步记录,以并列第一作者完成的研究(bioRxiv 预印本,2025)发现,抑制皮层兴奋性神经元后出现大幅同步钙瞬变并伴随局灶性皮层脑电棘波。既然微观群体活动与宏观场电位存在对应,就可以在训练时用微观记录约束脑电的隐空间,推理时只需脑电。

实验流程与宽场钙成像、皮层脑电同步记录结果。引自 Wu S#, Zhou Q#, et al. bioRxiv 2025, doi:10.1101/2025.10.02.676593, Fig. 1(# 并列第一作者,CC BY-NC 4.0)。
实验流程与宽场钙成像、皮层脑电同步记录结果。引自 Wu S#, Zhou Q#, et al. bioRxiv 2025, doi:10.1101/2025.10.02.676593, Fig. 1(# 并列第一作者,CC BY-NC 4.0)。

其他研究线

振动转声音式地震动传感器

地面振动带动质量块(即电池)压迫密闭腔内的膜片产生声压,由 MEMS 麦克风测量。重量为动圈式检波器的一半,70 Hz 处灵敏度为其 58 倍,功耗不超过 726 µW(IEEE 工业电子汇刊,2017)。

超密集微声阵列测向

10×10 阵列、阵元间距 5 mm,测量波长为阵列尺寸十倍以上的低频声源方向,含噪仿真中平均测向误差 2.797°(Meas. Sci. Technol.,2025,博士生张坤坤)。

隐空间中的风力机叶型设计

把叶型截面编码为图像,由遗传算法结合计算流体力学寻优,自动生成主叶片旁两个可产生推力的小岛,两个叶尖速比下效率分别提高 13.77% 和 21.11%(Soft Computing,2018;Neurocomputing,2022)。

多模态生物特征识别终端

与中国科学院上海微系统所合作研制的手持终端,集成指纹、人脸、虹膜、步态、声纹五种识别;2025 年起开发其云服务软件。