多模态神经与医学信号的鲁棒表征

浙江工业大学 计算机科学与技术学院 计算机视觉研究所

我们研究的问题是:模型在更换采集对象、采集设备或采集时段之后为什么失效,以及如何避免失效。真实观测数据普遍存在三类缺陷:数据缺失、通道错位和分布不一致。手工预处理的参数只适用于调参时所用的那批数据,所以我们不靠手工预处理弥补这些缺陷,而是把它们的处理设计进模型本身,使模型表示输入的空间——即隐空间——不随采集条件变化。

当前方向:多模态约束的鲁棒脑电特征提取——训练时用钙成像、皮层脑电等微观神经记录约束脑电的隐空间,使脑机接口跨个体、跨时段保持可靠,而推理时只需脑电。

80+发表及录用论文
2,076Google Scholar 总被引(h 指数 20)
20授权发明专利(4 项已转化)
1 + 10+毕业博士与硕士研究生

数据截至 2026 年 9 月。

研究

1 · 隐空间为什么不鲁棒

以第一作者在 Nature Communications(2021)发表的读片研究,用生成对抗网络只改动钼靶影像中的病灶区域。合成影像使诊断模型对 69.1% 原本判断正确的病例给出错误诊断,5 位乳腺影像科医生的识别率为...

详细 →

2 · 在同一批数据内部提取鲁棒隐空间

前馈网络中设计者能决定的只有网络架构、激活函数和损失函数三处。我们提出逐层自适应定制激活函数(IEEE TNNLS,2023,通讯作者)、冗余与缺失特征解耦网络 RMFDNet(Engineering Applications of AI,2025,第一作者)和非二值交并比损失(Expert Systems with...

详细 →

3 · 跨数据来源与时段保持稳定

多中心研究(eClinicalMedicine,2025,共同通讯作者;硕士生金辰为并列第一作者)用化疗前与化疗早期两次磁共振影像早期预测乳腺癌新辅助化疗疗效:孪生网络提取两个时间点的特征,Transformer 建模二者的时空交互。研究纳入 5 家中心 1044 例患者,3 个外部验证队列 AUC 为...

详细 →

4 · 跨个体保持稳定

脑电信号个体差异显著,是脑机接口难以实用的瓶颈。博士生张坤坤提出面向运动想象脑电的掩码自监督对比学习框架(ICASSP 2025),其三个组件与三类数据缺陷一一对应;又提出在线测试时自适应方法,每来一段新脑电即在 40–60 毫秒内更新模型,在两个公开数据集上准确率分别提高 2.22% 和 3.67%(IEEE 仪器与测量汇刊,2026)。

详细 →

代表性论文

Memory-augmented online test-time adaptation for EEG motor imagery via perturbation consistency and confidence calibration
IEEE Transactions on Instrumentation and Measurement · 2026 学生一作
Memory-augmented online test-time adaptation for EEG motor imagery via perturbation consistency and confidence calibration
使用中持续自适应的跨个体脑电解码:借助记忆库与扰动一致性,每来一段新脑电在 40–60 毫秒内更新模型,无需源数据;两个公开数据集上准确率分别提高 2.22% 和 3.67%。
K Zhang, K Wu, Z Chen, H Hu, Q Zhou
Development and validation of an MRI spatiotemporal interaction model for early noninvasive prediction of neoadjuvant chemotherapy response in breast cancer
EClinicalMedicine · 2025
Development and validation of an MRI spatiotemporal interaction model for early noninvasive prediction of neoadjuvant chemotherapy response in breast cancer
孪生网络与 Transformer 读取新辅助化疗前和化疗早期的磁共振影像,预测病理完全缓解;5 家中心 1044 例患者,外部验证 AUC 0.892–0.923。
W Tang, C Jin, Q Kong, C Liu, S Chen, S Ding, B Liu, Z Feng, Y Li, Y Dai, et al.

更多论文与图示 →

在线试用我们的模型

四个深度学习模型运行在实验室 GPU 上。上传去除身份信息的影像,几秒到一分钟即可得到结果;上传的数据不会被保存。

进入在线演示 →

欢迎加入

我们欢迎希望让人工智能模型在数据变化时依然可靠的学生、研究者和合作伙伴。欢迎来实验室学习、做研究,也欢迎带着临床、实验室或企业中的实际问题来与我们合作。

来学习、研究或合作 →  zqw@zjut.edu.cn

新闻

  • 在线脑电自适应论文发表于 IEEE TIM
    博士生张坤坤的跨个体脑电在线测试时自适应方法在 IEEE 仪器与测量汇刊(2026, 75: 4015112)在线发表。
  • 2026 届七名研究生毕业
    洪景山获博士学位,沈海昕、金辰、吴柯豪、陈智涛、沈嘉益、郑恺获硕士学位。祝贺!
  • 在威尔康奈尔医学院麻醉学系科研博览会展示海报
    负责人在美国纽约威尔康奈尔医学院麻醉学系第 17 届年度科研博览会展示跨尺度皮层记录研究。
  • 预印本:抑制兴奋性神经元反而诱发癫痫样放电
    与 Liou、Schevon、Schwartz 实验室合作的并列第一作者预印本发布于 bioRxiv(doi:10.1101/2025.10.02.676593)。 ↗
  • VAPORS 研讨会学年首场报告
    负责人在威尔康奈尔医学院麻醉学系 VAPORS 研讨会作学年首场报告,题为“Excitation/Inhibition imbalance is a common hallmark of anesthetic-induced unconsciousness”。
  • 乳腺癌化疗疗效早期预测发表于 eClinicalMedicine
    多中心磁共振时空交互模型(5 家中心 1044 例,外部验证 AUC 0.892–0.923)发表于 eClinicalMedicine(2025, 85: 103298)。可在在线演示试用。

近期论文

  • DD-Net: A defect detection model for carbon fiber-reinforced thermoplastic prepreg surface
    J Hong, H Hu, H Zhang, K Song, Q Zhou. Measurement, 2026. 学生一作
  • TiMoS-Net: a multi-temporal image and morphological spatial feature fusion network for predicting neoadjuvant chemotherapy response in breast cancer
    C Jin, S Chen, H Shen, W Tang, Y Chen, J Xiao, Y Guo, Q Zhou. Biomedical Signal Processing and Control, 2026. 学生一作
  • A self-guided few-shot semantic segmentation model based on query foreground-background similarity
    J Hong, H Hu, X Chen, K Ai, Q Zhou, X Zhang. Information Processing & Management, 2026. 学生一作
  • Memory-augmented online test-time adaptation for EEG motor imagery via perturbation consistency and confidence calibration
    K Zhang, K Wu, Z Chen, H Hu, Q Zhou. IEEE Transactions on Instrumentation and Measurement, 2026. 学生一作
  • RMFDNet: Redundant and missing feature decoupling network for salient object detection
    Q Zhou, J Wang, J Li, C Zhou, H Hu, K Hu. Engineering Applications of Artificial Intelligence, 2025.
  • Development and validation of an MRI spatiotemporal interaction model for early noninvasive prediction of neoadjuvant chemotherapy response in breast cancer
    W Tang, C Jin, Q Kong, C Liu, S Chen, S Ding, B Liu, Z Feng, Y Li, Y Dai, et al. EClinicalMedicine, 2025.

全部论文 →