可解释深度学习在光谱和医学影像分析中的应用

刘煦阳; 段潮舒; 蔡文生; 邵学广

doi:10.7536/PC220512

化学进展 ›› 2022, Vol. 34 ›› Issue (12) :2561-2572 DOI: 10.7536/PC220512

综述

扫码查看或转发全文

可解释深度学习在光谱和医学影像分析中的应用

刘煦阳 ¹ ,
段潮舒 ¹ ,
蔡文生 ¹^,² ,
邵学广 ¹^,²^,^*

作者信息 +

Explainable Deep Learning in Spectral and Medical Image Analysis

Xuyang Liu ¹ ,
Chaoshu Duan ¹ ,
Wensheng Cai ¹^,² ,
Xueguang Shao ¹^,²^,^*

Author information +

文章历史 +

摘要

深度学习是一种基于神经网络的建模方法,通过不同功能感知层的构建获得优化模型,提取大量数据的内在规律,实现端到端的建模。数据规模的增长和计算能力的提高促进了深度学习在光谱及医学影像分析中的应用,但深度学习模型可解释性的不足是阻碍其应用的关键因素。为克服深度学习可解释性的不足,研究者提出并发展了可解释性方法。根据解释原理的不同,可解释性方法划分为可视化方法、模型蒸馏及可解释模型,其中可视化方法及模型蒸馏属于外部解释算法,在不改变模型结构的前提下解释模型,而可解释模型旨在使模型结构可解释。本文从算法角度介绍了深度学习及三类可解释性方法的原理,综述了近三年深度学习及可解释性方法在光谱及医学影像分析中的应用。多数研究聚焦于可解释性方法的建立,通过外部算法揭示模型的预测机制并解释模型,但构建可解释模型方面的研究相对较少。此外,采用大量标记数据训练模型是目前的主流研究方式,但给数据的采集带来了巨大的负担。基于小规模数据的训练策略、增强模型可解释性的方法及可解释模型的构建仍是未来的发展趋势。

Abstract

Deep learning is a modeling method based on neural network, which is constructed of multiple different functional perception layers and optimized by learning the inherent regularity of a large amount of data to achieve end-to-end modeling. The growth of data and the improvement of computing power promoted the applications of deep learning in spectral and medical image analysis. The lack of interpretability of the constructed models, however, constitutes an obstacle to their further development and applications. To overcome this obstacle of deep learning, various interpretability methods are proposed. According to different principles of explanation, interpretability methods are divided into three categories: visualization methods, model distillation, and interpretable models. Visualization methods and model distillation belong to external algorithms, which interpret a model without changing its structure, while interpretable models aim to make the model structure interpretable. In this review, the principles of deep learning and three interpretability methods are introduced from the perspective of algorithms. Moreover, the applications of the interpretability methods in spectral and medical image analysis in the past three years are summarized. In most studies, external algorithms were developed to make the models explainable, and these methods were found to be able to provide reasonable explanation for the abilities of the deep learning models. However, few studies attempt to construct interpretable algorithms within networks. Furthermore, most studies try to train the model through collecting large amounts of labeled data, which leads to huge costs in both labor and expenses. Therefore, training strategies with small data sets, approaches to enhance the interpretability of models, and the construction of interpretable deep learning architectures are still required in future work.

Contents

1 Introduction

2 Principle and algorithm

3 Interpretability method

3.1 Visualization method

3.2 Model distillation

3.3 Interpretable model

4 Spectral analysis

5 Medical image analysis

5.1 Segmentation

5.2 Disease diagnosis

6 Summary and outlook

Graphical abstract

关键词

深度学习 / 可解释性方法 / 神经网络 / 医学影像分析 / 光谱分析

Key words

deep learning / interpretability method / neural network / medical image analysis / spectral analysis

引用本文

引用格式 ▾

刘煦阳, 段潮舒, 蔡文生, 邵学广. 可解释深度学习在光谱和医学影像分析中的应用[J]. 化学进展, 2022, 34(12): 2561-2572 DOI:10.7536/PC220512

Xuyang Liu, Chaoshu Duan, Wensheng Cai, Xueguang Shao. Explainable Deep Learning in Spectral and Medical Image Analysis[J]. Progress in Chemistry, 2022, 34(12): 2561-2572 DOI:10.7536/PC220512

登录浏览全文

4963

注册一个新账户忘记密码

1 引言

深度学习是近年来发展迅速的一类机器学习方法,其核心思想是通过构建深层神经网络实现对预测目标的非线性拟合。21世纪以来计算能力的显著提高使得深层神经网络模型的高速训练成为现实,计算机科学领域也因此在短期内涌现出大量深度学习的理论与应用研究。近年来,深度学习已大量用于计算机视觉、自然语言处理等领域,并取得了显著进展,基于大规模数据训练的谷歌网络(GoogLeNet)、残差网络(ResNet)以及视觉几何群网络(Visual geometry group network, VGG)等网络结构得以建立。得益于上述模型参数的公开,通过迁移这些预训练的网络,模型训练时间显著减少且泛化能力得到提高。随着深度学习在计算机科学领域的理论与应用逐渐成熟,其他领域也开始应用深度学习方法完成大规模数据的分析任务。在医学领域,深度学习已用于处理医学影像以完成疾病诊断任务^[1]。在生命科学领域,深度学习已用于蛋白质结构预测以及基因组学研究^[2,3]。在化学领域,深度学习已用于化合物的理化性质预测、光谱分析建模以及量子化学计算方法改进^[4⇓⇓~7]。然而,深度学习模型由于高度非线性且参数规模较大,通常被认为缺乏可解释性,研究人员在实际应用时无法对模型预测结果的正确性做出判断,因此严重阻碍了深度学习的实际应用。可解释性方法的提出旨在解决上述问题,根据解释原理的不同,可解释性方法分为可视化、模型蒸馏及可解释模型。其中可视化方法及模型蒸馏属于外部解释算法,在模型训练完成后可视化方法通过分析模型参数或对输入施加扰动实现模型决策依据的可视化,模型蒸馏则是指通过简化模型的手段解释模型,而可解释模型旨在从原理上设计可解释的模型结构。

光谱分析任务包括对样品的判别分析以及对样品组分的定性定量分析。化学计量学领域已发展了许多光谱分析方法,如用于判别分析的支持向量机和线性判别分析,用于定量分析的偏最小二乘回归等多元校正方法。但这些方法的分析过程通常步骤繁琐^[8],在分析前需要大量光谱预处理操作,如散射校正、噪声去除、基线校正、光谱求导、变量选择等^[9⇓~11],且大多数光谱分析方法具有一定局限性,如偏最小二乘回归仅具有线性拟合能力、支持向量机需要不断调整惩罚因子及核函数,这导致在方法选择时需要不断试错和调整模型以适应光谱数据。深度学习作为一种高度非线性的拟合算法,有能力简化光谱分析步骤,通过学习大量数据的内在规律实现端到端的高精度光谱分析。

医学影像分析包括病变区域分割、疾病诊断等,传统的医学影像分析需要有经验的专家完成,这需要巨大的时间和经济成本,深度学习有望改变这一现状。深度学习在计算机视觉领域的发展为其在医学影像分析上的应用铺平了道路,基于迁移学习训练诊断模型已成为主流研究方式^[12],且U-Net、SegNet以及DeepLab等全卷积神经网络已在大量研究中用于实现医学影像中特定区域的高精度分割^[13,14]。

已有文献对深度学习在光谱和医学影像分析中的应用进行了总结,Yang等^[8]总结了2019年之前深度学习在振动光谱分析中的应用。He等^[15]总结了近年来将深度学习应用于生物光谱学及成像中的相关工作。Shen等^[16]介绍了2017年之前深度学习在医学影像的配准、分割及诊断中的应用。上述文献均指出深度学习可解释性的不足是阻碍其应用的关键因素,且提高深度学习模型可解释性的尝试仍处于起步阶段,未来研究应更加关注深度学习的可解释性问题。本文从算法角度介绍了深度学习及三类可解释性方法的原理,综述了近三年来深度学习的可解释性方法在光谱分析和医学影像分析中的应用,并展望了未来发展方向。

2 原理及算法

神经网络的概念起源于生物学,人脑中的大量神经元通过突触连接形成了神经系统。虽然单个神经元的结构很简单,但神经系统通过大量神经元的协作能够解决高度复杂的问题。人工神经网络的设计受到了生物神经网络的启发,McCulloch等^[17]于1943年首次提出人工神经网络(Artificial neural network, ANN)的计算模型。此后多层感知机(Multilayer perceptron, MLP)结构及反向传播训练算法相继出现^[18,19]。受到计算能力及数据规模的限制,ANN模型在20世纪90年代之前进展缓慢,但得益于计算能力的大幅度提高和大数据时代的需求,神经网络已经成为目前最受欢迎的机器学习技术之一,并广泛用于解决大批量数据的分类及回归问题。

ANN是由多个全连接层堆叠而成的神经网络,全连接层中的运算过程可由式(1)表示:

(1)

Y = σ X W + b

其中W、b分别为全连接层的权重及偏差矩阵,

σ (·)

为激活函数。

为了提高ANN在高维数据分析中的计算能力,研究者设计并发展了卷积神经网络(Convolutional neural network, CNN)。CNN是由卷积层、池化层以及全连接层组成的神经网络结构。图1为CNN的模型结构及计算过程,其中卷积层通过数个不断移动的核与高维矩阵作卷积运算以提取输入的空间特征。池化层对输入数据进行下采样,从而减少数据量并减弱模型对输入数据的位置敏感性。全连接层用于在网络末端实现分类或回归任务。

2014年,Long等^[20]首次提出全卷积神经网络(Fully convolutional network, FCN),将全连接层替换为反卷积层实现了高维矩阵的输出。2015年,Ronneberger等^[21]提出了U-Net全卷积神经网络,并将其用于细胞图像的分割任务。U-Net模型由压缩过程和扩展过程组成,模型在压缩过程中通过卷积层及池化层提取输入的低维特征,在扩展过程中通过反卷积层及跳跃连接的方式将低维特征重建为高维矩阵。得益于优秀的图像分割性能,U-Net已在大量图像分割任务中得以应用。

循环神经网络(Recurrent neural network, RNN)的提出旨在处理长度不等的序列数据。图2为RNN的结构及计算过程,其中

H t

代表循环层t节点的隐藏状态,式(2)为

H t

的计算公式,

X t

及

W X

为t节点下输入循环层的数据及对应的权重参数,

H t - 1

及

W H

为前一节点的隐藏状态及对应的权重参数,b表示偏差,

σ (·)

代表循环层的激活函数。

O t

为循环层t节点的输出,其计算与全连接层相同,见式(1),其中

X

在此处为

H t, Y

在此处为

O t

。

(2)

H t = σ X t W X + H t - 1 W H + b

RNN结构在训练时存在着梯度爆炸及梯度消失的现象,梯度爆炸通常可采用饱和激活函数及梯度裁剪的策略应对。针对长序列RNN的梯度消失现象,Hochreiter等^[22]于1997年提出了长短期记忆模型(Long short-term memory, LSTM),Cho等^[23]于2014年简化了LSTM结构并提出门控循环单元(Gate recurrent unit, GRU)。此外,其他研究者还发展了合并注意力机制^[24]、点积注意力机制^[25]及多头注意力机制^[26]等策略以缓解RNN的梯度消失现象。

2014年,Goodfellow等^[27]首次提出生成对抗网络(Generative adversarial network, GAN)。GAN由生成器和判别器两部分组成,旨在通过生成器和判别器之间的相互对抗以提高模型表现。判别器用于鉴别生成器所生成的数据与真实数据,而生成器用于转化输入,使其逼近真实数据。在GAN的训练过程中,通过判别器和生成器的不断对抗,使得生成器所生成的数据逐渐接近真实数据,而判别器的鉴别能力也不断提高。生成对抗网络的单次迭代训练分为两个阶段:第一阶段是训练判别器,使其能够识别真实数据及生成器所生成的数据,第二阶段是训练生成器,使生成器所生成的数据更接近于真实数据。受经典GAN思想的启发,近年来又发展了pix2pix^[28]以及cycleGAN^[29]等新式GAN结构。GAN结构目前已广泛用于超分辨率及半监督学习等领域的研究中。

虽然目前深度学习领域已发展了许多结构和功能先进的神经网络,但多数神经网络由于模型参数复杂且非线性程度强,解释模型存在困难。这严重阻碍了神经网络的实际应用,因此有必要开展神经网络的可解释性研究。

3 可解释性方法

3.1 可视化解释

可视化解释通常用于解释分类模型的预测结果,当样本输入模型时,可视化解释方法根据模型的参数和输入计算显著图(Saliency map)矩阵(该矩阵反映了输入数据各区域对模型预测结果的影响程度)来解释分类模型的预测结果。根据显著图的计算方式,可视化解释分为基于梯度计算的可视化解释和基于扰动的可视化解释。前者根据神经网络的梯度计算显著图,后者基于输入数据的扰动对输出的影响计算显著图。

2016年,Zhou等^[30]提出了类别激活映射(Class activation mapping, CAM)算法,CAM为解释模型将神经网络的后三层限制为卷积层、全局平均池化层和全连接层串联的结构,进而限制了模型表现。2017年,Selvaraju等^[31]提出了grad-CAM算法,解除了CAM对模型后三层结构的限制,因此成为目前最受欢迎的可视化解释方法之一。图3为grad-CAM计算显著图的过程,首先将图像“Input”输入分类模型得到神经网络对特定类别的预测概率

y c

;接着提取模型最后一个卷积层的输出矩阵A,由式(3)计算

y c

与A上每个点的梯度值并对各通道求均值得到

α k c

,其中i及j分别代表二维矩阵行和列的索引,k代表通道索引,Z代表像素数目;然后由式(4)将梯度均值

α k c

作为权重项对神经网络的中间层输出加权求和,并将求和结果通过ReLU函数激活,得到显著图矩阵

L c

;最后将

L c

上采样至原图像的大小并与其叠加,即可看出输入中各区域的重要程度,本例中,猫的脸部区域对应的

L c

像素值最高,说明该区域是影响模型决策的关键区域。

(3)

α k c = 1 Z ∑ i ∑ j ∂ y c ∂ A i j k,

(4)

L c = R e L U ∑ k α k c A k,

grad-CAM算法基于模型输出对中间层输出的偏导计算显著图,进而衡量输入数据各像素点的重要程度。然而神经网络存在梯度饱和现象,在梯度饱和时偏导趋于零,致使偏导无法准确反映输入各区域对模型决策的贡献程度。2017年,Sundararajan等^[32]提出了积分梯度(Integrated gradients)算法,通过对梯度积分衡量输入中各个像素的重要程度,旨在消除梯度饱和现象对模型解释算法的影响。图4为积分梯度算法的计算过程,首先定义基线

X'

为全黑图像,并从基线开始以均匀步幅

α × X - X'

对原图像X插值;接着将插值后的图像输入模型,并计算模型输出对插值图像上各像素点的偏导数“Gradients”;然后由式(5)对各插值图像的偏导数求数值积分,得到显著图矩阵

I G X

;最后将显著图矩阵

I G X

与原图像叠加以反映输入图像各区域的重要程度,本例中,猫脸部及背部区域对应的

I G X

数值最高,说明这些区域是影响模型决策的关键区域。

(5)

I G X = (X - X') × ∫ α = 0 1 ∂ F X' + α × X - X' ∂ X i d α

基于扰动的可视化解释统计了扰动输入数据各区域前后模型预测结果的变化,并由此量化神经网络在决策时对各区域的关注程度。2014年,Zeiler等^[33]提出了遮挡灵敏性(Occlusion sensitivity)算法,该算法对输入数据的不同区域进行遮盖,并计算遮盖前后模型预测值的变化,当对某一区域遮盖后模型的预测结果发生显著变化时,则认为该区域是模型关注的关键区域。图5为输入图像各区域扰动前后模型预测结果变化的分布情况,其中对猫的脸部、耳朵、爪部等关键特征扰动后模型预测结果的变化较大,证明这些区域对模型决策更加关键,说明模型在决策时关注到了合理的输入区域。2017年,Fong等^[34]提出了三种扰动方式,包括将扰动区域全部替换为常数、对扰动区域加噪声以及模糊化扰动区域。同年,Zintgraf等^[35]提出了用于可视化模型分类机制的预测差异分析(Prediction difference analysis)算法,更严谨地衡量了扰动对模型预测的影响。式(6)和(7)为预测差异分析算法的计算原理,其中c为类别,x为神经网络的输入数据,

x i

为处于扰动区域的数据,

x - i

代表扰动区域之外的数据。式(6)计算

x - i

对类别c的预测贡献

p c x - i

,式(7)衡量扰动数据

x i

对类别c的预测贡献

W E i c x

,其值反映了区域

x i

对类别c预测的影响程度。

(6)

p c x - i = ∑ x i p x i | x - i p c x - i, x i

(7)

W E i c x = l o g p c | x 1 - p c | x - l o g p c x - i 1 - p c x - i

3.2 模型蒸馏

模型蒸馏的思想是将复杂的神经网络模型近似为可解释的简单模型,然后通过简单模型解释神经网络。根据近似方式,可将模型蒸馏分为局部近似及全局近似,现有研究集中于局部近似方法。局部近似是简单模型对单个或少数样本的神经网络预测结果的近似,2016年,Ribeiro等^[36]提出LIME(Local interpretable model-agnostic explanations)算法。图6为LIME将神经网络近似为线性模型的算法示例,首先将样本X转化为“0, 1”表示的矩阵

X', X' ∈ {0,1}

;接着对

X'

进行多次扰动得到

Z'

,并提取与扰动后的特征

Z'

对应的原始图像Z,将Z输入神经网络得到预测概率

f Z

;然后最小化式(8),使简单模型的预测概率

g Z'

接近神经网络的预测概率

f Z

,实现简单模型对神经网络的近似,式(9)计算了扰动前后的样本相似度

π x Z

,其中

D X, Z

为图像扰动前后的距离,σ为输入图像的宽度;最后提取线性模型的权重参数W,并对W排序,权重越高,对应的像素区域对预测结果的贡献越大。图6中较高的权重参数对应猫的面部、耳朵、尾巴及身体等影响判别的关键区域,证明LIME具有解释神经网络的能力。夏普利值(Shapley value)是博弈论中的概念,更严谨地衡量了特征对预测的贡献程度。2017年,Lundberg等^[37]引入夏普利值改进LIME算法中的相似度项

π x Z

,并提出了夏普利附加解释(Shapley additive explanations, SHAP)算法。

(8)

ξ X = ∑ Z', Z π x Z f Z - g Z' 2,

(9)

π x Z = e x p - D X, Z 2 σ 2 .

全局近似是简单模型对大量样本的神经网络预测结果的近似,2017年,Frosst等^[38]提出了一种通过神经网络构建软决策树的策略,该决策树的泛化能力优于直接由训练数据学习的结果。由于决策树分层决策的特性,可通过分析决策树预测路径上各叶节点的决策解释模型。

3.3 可解释模型

可解释模型的思想是在模型中添加可解释的模块以理解模型的预测机制。目前广泛使用的可解释模型通常分为注意力机制模型及多任务模型。2014年,Bahdanau等^[24]针对RNN模型记忆有限的问题,提出了Bahdanau注意力机制。作者构建了编码器-解码器的RNN结构,并在解码器中添加注意力机制使其能够有选择性地关注编码器中的各个节点。式(10)~(13)为Bahdanau注意力机制的计算过程,

s i

代表解码器中第i个节点的隐藏状态,

c i

是对编码器中各个节点的隐藏状态加权求和的结果,权重

α i j

代表解码器

s i

对编码器中第j个时间节点的关注程度,权重

α i j

由式(12)和(13)计算得到,由于Bahdanau注意力机制中的

s c o r e i j

由编码器和解码器的隐藏状态合并后求解,因此其又称为合并注意力。

(10)

s i = σ s i - 1, y i - 1, c i,

(11)

c i = ∑ j = 1 T α i j h j,

(12)

α i j = e x p (s c o r e i j) ∑ k = 1 T e x p (s c o r e i k),

(13)

s c o r e i j = σ [s i - 1, h j] W ν T .

注意力机制的后续工作集中于对Bahdanau注意力机制中

s c o r e i j

计算方式和注意力范围的改进。2015年,Xu等^[39]提出了软注意力机制及硬注意力机制的概念。硬注意力机制指解码器只能关注编码器中的一个特定时间节点,软注意力机制指解码器能够关注编码器中的全部时间节点。同年,Luong等^[25]提出了点积注意力机制,式(14)为点积注意力机制中

s c o r e i j

的定义,

s c o r e i j

由编码器隐藏状态与解码器隐藏状态作点积运算得到。2017年,Vaswani等^[26]结合点积注意力的思想提出了自注意力机制的概念,并在其基础上提出了多头注意力机制。合并注意力机制、点积注意力机制以及多头注意力机制是目前主流的三种注意力机制。虽然注意力机制不是为了可解释性而提出,但已有许多工作证明了其能够提高模型的解释能力^[26,39]。在使用了注意力机制的网络中,可通过提取注意力层中的权重系数

α

揭示模型决策时所关注的区域。

(14)

s c o r e i j = s i - 1 T h j .

在多任务模型中,神经网络除原本的分类任务外,还需完成其他任务,如生成一段文字对神经网络的分类作出解释^[40],或在模型中间层将输入转化为可解释的隐特征。2017年,Alvarez-Melis等^[41]提出了自解释神经网络(Self-explaining neural networks, SENNs),通过引入线性计算的模块解释神经网络。SENNs首先将输入转化为一组低维隐特征“概念”和一组相关性参数,然后将相关性参数作为权重对低维特征加权,最后利用加权后的结果预测样本类别。图7为SENNs对数字图像分类模型的解释机制,首先从训练数据中筛选最大化激活“概念”的典型样本以揭示各个神经元的意义,如“概念”中的第三个神经元“Cpt3”对于“7”和“8”等具有横折结构的数字较为敏感;然后由相关性参数衡量各“概念”对模型预测的贡献,模型输入“9”时“Cpt3”对应的相关性参数最高;最后结合神经元的意义与贡献共同解释模型,“9”存在与横折类似的结构,“Cpt3”的相关性参数最高符合预期,说明模型决策时关注到了合理的特征。

虽然多任务模型的解释能力出色,但样本标记及模型调控均存在困难。而注意力机制得益于简单的模型构造及直观的解释能力,成为目前最受欢迎的可解释模型。

4 光谱分析

传统光谱分析过程通常需要经过繁琐的数据预处理步骤^[8],包括光谱去噪、基线校正、散射校正、光谱求导、变量选择等过程。已有研究证明传统的机器学习方法在复杂体系光谱的分析任务中表现出色^[42,43],深度学习作为最先进的机器学习技术之一,有望代替传统的光谱分析过程以简化分析步骤并提高分析能力。目前已有许多研究将深度学习用于光谱的定量分析,2019年,Ju等^[44]对人类体液三维荧光光谱建立模型,从而实现对体液中违禁药物的检测和半定量。作者分别构建了GAN和ANN模型实现违禁药物的检测和定量,GAN和ANN模型分别在测试集上达到了88.07%的预测准确率和0.16 mg/mL的平均绝对误差,证明深度学习具有分析复杂体系光谱的能力。Ni等^[45]提出了一种可变加权的卷积神经网络,并将其用于由近红外光谱量化马尾松幼苗叶片的含氮量。模型首先计算光谱中各点对应的权重,然后由加权后的光谱预测叶片含氮量。结果表明,加权后模型的泛化能力得到提高,使神经网络能更加关注光谱的重要片段。Zhang等^[46]提出了一种基于自动编码器低维向量的回归策略,并将其用于预测枸杞中各化学成分的含量。作者构建自动编码器对光谱降维,将降维后的数据对枸杞中的化合物含量进行偏最小二乘回归和最小二乘支持向量回归。Xiong等^[47]提出了一种结合注意力机制的偏最小二乘回归策略,该策略对三类实际样品近红外光谱数据的预测优于传统定量方法。

除利用深度学习对光谱进行定量分析外,也有大量研究将深度学习用于判别分析。Huang等^[48]提出了一种基于自动编码器检测奶粉掺假的策略。作者采用真奶粉的红外光谱训练模型,计算不同奶粉输入自动编码器时的编码误差和重构误差对样品聚类,通过调控阈值实现了对90%以上掺假奶粉的正确识别。该研究证明了无监督学习具有用于聚类分析的潜力。虽然无监督学习备受关注,但实现样本分类的主流策略仍是基于大量标记样本的监督学习。2020年,Shin等^[49]基于外泌体的拉曼光谱提出联合主成分分析和神经网络诊断肺癌的策略。外泌体是目前广受关注的生物标志物之一,受传统方法的限制,通过分析外泌体实现癌症诊断较为困难。且细胞系外泌体是目前的主流研究对象,而构成更为复杂的血浆中的外泌体研究较少。在实际诊断中提取细胞外泌体的成本很高,更希望通过易获取的血浆外泌体实现癌症诊断。作者提出了一种通过细胞系外泌体的表面增强拉曼光谱(Surface-enhanced Raman spectroscopy, SERS)训练模型,而采用血浆外泌体SERS进行诊断的策略。诊断策略见图8,首先将血浆外泌体、健康细胞外泌体及癌细胞的SERS数据输入训练完成的模型,并提取模型输出层前一层的输出进行主成分分析(Principal component analysis, PCA);然后计算血浆与癌细胞及正常细胞在第一、二主成分上的马氏距离,将血浆外泌体与癌细胞外泌体的相似度定义为两距离的比值;最后设置相似度阈值以诊断肺癌。基于上述策略,模型的受试者工作特征曲线(Receiver operating characteristic curve, ROC)下面积达到0.912,显著优于直接由模型预测的结果。Shu等^[50]基于光纤拉曼光谱建立了体内实时检测鼻咽癌的深度学习模型。作者将体内鼻咽部组织的拉曼光谱用于训练模型,预测结果的真阳性率达到92.18%,由基于扰动的可视化解释算法计算得到的关键波数区域被证明与癌症的特征生物分子相关。Huang等^[51]对不同人群咽拭子的SERS建立了基于残差网络的新冠肺炎诊断模型,模型预测准确率达到87.7%。Yu等^[52]对海肠子体内8类细菌的拉曼光谱建立分类模型,并通过基于扰动的可解释性算法得到反映细菌核酸特征的光谱片段。Zhou等^[53]采用稀疏正则化的策略对光谱作变量选择,并通过变量选择后的光谱实现对小麦品种的分类。Yang^[54]等针对不同地理来源咖啡豆的太赫兹光谱比较了多种分类策略,结果表明,卷积神经网络的分类结果明显优于线性判别分析及支持向量机等传统方法。

除了将深度学习应用于端到端的回归及分类之外,也有一些研究将深度学习方法用于预处理光谱数据。在近红外IIb区成像能够最小化光散射同时最大化成像深度,成像质量较高,但成像需要的荧光探针通常包含Pb、Cd、As等有毒元素,难以用于临床试验。在近红外I区和IIa区的成像虽然其荧光探针有生物相容性,但由于光散射强且成像深度较小,其成像质量普遍较差。cycleGAN是一种无需配对数据训练即可实现两组图像之间转换的生成式模型,2020年,Ma等^[55]采用大量近红外IIa区及IIb区的成像数据训练cycleGAN模型,实现了IIa区到IIb区成像结果的转换。如图9所示,IIa区成像结果经过cycleGAN处理后,光散射明显减弱,信号-背景比显著增加,接近IIb区成像的实验结果,证明了cycleGAN方法的有效性。同年,Guo等^[56]搭建了用于去除红外光谱中伪影的1维U-Net模型,该模型能够有效提取伪影掩盖下的真实光谱。

许多光谱分析的研究均表明,深度学习具有发现光谱与目标之间隐藏关系的潜力,将深度学习的可解释性算法用于光谱分析中不仅能为模型预测结果提供依据,增强模型的可信度,还有可能发现一些尚不明确的光谱信息,从而推动基础研究的发展。此外,深度学习也具有预处理光谱的潜力,采用深度学习进行光谱预处理有助于降低成像成本并简化分析步骤。

5 医学影像分析

5.1 分割

医学影像分析旨在分析患者的医学影像实现疾病的早期检测、诊断及治疗,包括医学影像分割、疾病诊断等任务。分割是对图像进行像素级别的分类,由专业医生人为标记每个像素的类别是医学影像分割的金标准,这需要耗费大量的时间和精力,且分割质量受医生的专业水平影响。为了提高医学影像的分割质量,缩短分割时间,已有大量研究将深度学习用于实现医学影像的高精度分割。在结肠镜检测期间实时发现并切除息肉是预防结直肠癌的最佳手段,2018年,Wang等^[13]建立了在结肠镜检测期间实时标记息肉的深度学习模型。为实现对息肉的高精度实时检测,作者采用2015年Badrinarayanan等^[57]提出的SegNet结构,首先对输入进行下采样提取关键特征,然后将关键特征进行上采样完成分割任务,模型诊断测试集的真阳性率高达90%。

除SegNet结构之外,U-Net结构由于其构建简单且模型表现出色,已大量用于医学影像的分割任务。2020年,Shi等^[14]对U-Net进行改进,提出了结合双重注意力的残差U-Net结构(Dual Attention Residual U-Net, DAResUnet),并将其用于分割头部CT图像中的动脉瘤区域。DAResUnet首先裁剪输入数据的随机区域训练模型,然后在模型推断时以均匀步幅裁剪输入数据实现分割。DAResUnet将Fu等^[58]于2019年提出的双重注意力机制嵌入U-Net结构从而迫使神经网络关注有意义的特征,并将卷积层替换为残差单元以缓解深层网络的退化问题。DAResUnet模型分割头部CT图像中的动脉瘤区域的表现不仅显著优于同等条件训练下的传统U-Net结构,且在模型预测的真阳性率上优于医生的判断,证明了DAResUnet结构的分割能力。2021年,Bouteldja等^[59]针对肾组织切片图像的分割问题提出了经过修改的U-Net模型,包括加深模型深度、降低通道数、在转置卷积时不对通道数减半、用IN(Instance normalization)层代替BN(Batch normalization)层以及使用Leaky ReLU作为模型的激活函数。将修改后的U-Net用于肾脏组织图像的分割,结果表明其分割性能优于普通U-Net和Context Encoder结构。同年,为了减少淋巴结组织切片图像中淋巴结区域外的脂肪、肌肉等组织对癌症诊断结果的干扰,Wang等^[60]构建U-Net结构实现了对组织切片图像中淋巴结区域的提取。

DeepLab是另一种广泛使用的分割结构,2020年,Zhang等^[61]针对目前全球流行的新型冠状肺炎的检测问题,提出了一种基于分割模型的新冠肺炎诊断策略。该研究采用DeepLab v3结构将肺部CT成像图分割为背景、肺野、肺实变、磨玻璃影、肺纤维化、间质增厚以及胸腔积液七部分。为了区分普通肺炎和新冠肺炎,提高诊断模型的泛化能力,作者直接将分割模型的输出作为新冠肺炎诊断模型的输入,这种基于分割模型的疾病诊断策略能够提供直观的诊断依据。2021年,Wang等^[62]基于胸部X光片建立了一套针对新冠肺炎的深度学习检测系统,其中包括解剖位点检测、肺病变区域分割以及肺炎检测三个模块。该研究采用DeepLab v3构架检测解剖位点并分割病变区域,最终对解剖位点检测的平均绝对误差达到5.568 mm,对肺部病变区域分割的Dice系数达到0.95。

目前针对医学影像分割的研究多基于U-Net、DeepLab以及SegNet等全卷积神经网络实现,且集中于对现有网络结构的改进和微调。深度学习分割模型已在多数研究中表现出超越专家级别的分割精度和分割速度,有望真正投入到临床应用中辅助医生完成医学影像分割任务。

5.2 疾病诊断

疾病诊断的金标准通常十分耗时,而其他诊断手段往往有高的假阴性率和假阳性率,因此需要一种低成本、快速且精确的疾病诊断方式,深度学习模型具有这样的特点,目前已有大量研究将深度学习用于诊断疾病。2018年,Kermany^[12]等基于迁移学习分析视网膜OCT(Optical coherence tomography)图像,实现了对三种眼部疾病的诊断。该研究通过迁移预训练的Inception v3模型,基于四千余位患者的十万余张视网膜OCT图像训练模型,在测试集上的预测准确率达到96.1%,遮挡测试(Occlusion testing)对模型诊断的解释结果与专家判断一致。

在实际研究中,大量数据的搜集及标记为建立疾病诊断模型带来了巨大的成本,且由于深度学习模型的预测结果通常难以解释,致使模型的使用者在临床实践时无法衡量其准确性。深度学习对数据量的需求及其本身具有的“黑箱”特性严重阻碍了其临床应用,因此需要在仅有少量数据的情况下,建立一种可解释的深度学习模型,同时确保模型的诊断性能。2019年,Lee等^[63]基于小规模不均匀样本建立了用于诊断急性脑出血的深度学习模型。作者收集了五千余张不同类型脑溢血患者的脑部CT图像及九千余张健康的脑部CT图像,并针对该不均匀数据建立深度学习模型。为了提高模型表现,作者提出了三种模型训练策略,首先采用加权二值交叉熵作为损失函数以应对不均匀样本,使得样本数少的类别判断错误时产生的损失更高,以此平衡不同类别对模型训练过程的影响;然后通过迁移学习提高模型表现并加速模型收敛;最后在模型训练时通过裁剪、旋转、插值以及加噪声等数据增强策略对训练样本扩增以提高模型泛化性能。通过上述三种策略,模型达到了专家级别的诊断精度。此外,作者采用了CAM算法可视化模型的预测机制,并得到了专家的证实。2020年,Zhou等^[64]构建了CRCnet模型分析肠镜图像以诊断结直肠癌,模型在测试集上的AUPRC(Area under precision-recall curve)达到了0.99。作者采用grad-CAM算法计算模型预测时关注的区域,并证明了grad-CAM能够正确定位大部分病变区域。还有多篇工作在研究中采用了grad-CAM算法解释模型,2021年,Gehrung等^[65]基于食管细胞的全视野数字切片(Whole slide image, WSI)迁移并比较了多种CNN模型以检测巴雷特食管,此外,作者还采用grad-CAM算法对输入数据各区域的重要程度进行了可视化。Qian等^[66]构建了基于超声图像诊断乳腺癌的CNN模型,并通过grad-CAM算法定位病变区域。

2021年,Liu等^[67]建立了一种用于鉴别皮肤病的深度学习模型,综合患者的皮肤图像及45项基本情况和病史信息进行诊断。作者采用积分梯度(Integrated gradients)算法解释模型预测结果,并采取置换特征重要性(Permutation feature importance)方法对患者的基本情况和病史信息进行重要性排序,得到对模型预测影响最大的数个特征。虽然基于大量标记样本训练疾病诊断模型是主流研究趋势,但已有研究尝试学习未标记样本的信息以减少数据标记成本。2021年,Yu等^[68]采用“mean teacher”半监督学习策略训练深度学习模型,并将其用于分析结直肠癌组织及健康组织的病理图像以完成诊断任务。半监督学习策略使未标记样本也能被用于优化模型,结果表明,在使用相同数目的标记样本的情况下,基于半监督学习策略训练的模型显著优于监督学习。

深度学习作为一种低成本、快速、高精度的疾病诊断手段具有广阔的应用前景。已有大量研究尝试通过深度学习实现疾病诊断,但由于样本搜集、标记的高成本以及深度学习模型复杂的“黑箱”特性,真正将其投入临床应用仍旧十分困难。未来的研究不仅需要突破样本规模和可解释性的双重障碍,还需要在模型结构及训练策略上不断优化改进,以期实现金标级别的诊断水平。

6 结论与展望

近年来数据规模的爆炸式增长以及计算能力的显著提高使得深度学习的理论和应用研究均取得了巨大的进展,深度学习已广泛用于各领域中以完成大规模数据的分析任务。在光谱分析领域,深度学习除了能够实现端到端的高精度定性定量分析以简化分析步骤之外,还有可能发现隐藏的光谱信息,从而推动基础研究的发展。在医学影像分析领域,通过将深度学习与可解释性方法结合,在实现高精度疾病诊断的同时能提供模型诊断机制,极大拓宽了深度学习的应用前景。目前深度学习应用的研究多数属于监督学习的范畴,而搜集大规模标记样本为训练模型带来了巨大的成本,进而阻碍深度学习的实际应用。未来的研究仍需对小规模样本的模型训练策略不断优化。深度学习的“黑箱”性质也是阻碍其实际应用的重要因素。虽然目前已有大量用于解释深度学习模型的算法,但大部分研究专注于在训练完成后构建外部算法解释模型,而少有研究尝试直接构建可解释的深度学习模型,且多数可解释模型以牺牲模型预测的准确率为代价。此外,大部分外部解释算法在实际应用中的表现参差不齐,缺少对解释算法的评估标准。且多数研究采用可解释性方法的主要目的是证明模型的有效性,造成可解释性方法的应用背景较为单一。未来的研究不仅需要开发适用性更强的外部解释算法,建立可解释性方法的评估标准,还应拓宽可解释性方法的应用背景,例如结合可解释性方法实现神经网络的知识注入,使神经网络兼具可解释性及高准确率,以及通过注意力机制等方法加深对数据的理解。总而言之,深度学习在光谱和医学影像分析中具有巨大的应用潜力,端到端的深度学习方法将彻底改变传统的光谱及医学影像分析模式。为了将深度学习真正投入实际应用中,未来的研究应侧重于基于小规模数据的训练策略、增强模型可解释性的方法及可解释模型的构建。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Miotto R, Wang F, Wang S, Jiang X Q, Dudley J T. Brief. Bioinform., 2018, 19(6): 1236.

[2]	Senior A W, Evans R, Jumper J, Kirkpatrick J, Sifre L, Green T, Qin C L, Žídek A, Nelson A W R, Bridgland A, Penedones H, Petersen S, Simonyan K, Crossan S, Kohli P, Jones D T, Silver D, Kavukcuoglu K, Hassabis D. Nature, 2020, 577(7792): 706.

[3]	Jing R Y, Li Y Z, Xue L, Liu F J, Li M L, Luo J S. J. Chem. Inf. Model., 2020, 60(8): 3755.

[4]	Yang X, Wang Y F, Byrne R, Schneider G, Yang S Y. Chem. Rev., 2019, 119(18): 10520.

[5]	Zhang X L, Lin T, Xu J F, Luo X, Ying Y B. Anal. Chimica Acta, 2019, 1058: 48.

[6]	Li W Z, Miao W, Cui J X, Fang C, Su S T, Li H Z, Hu L H, Lu Y H, Chen G H. J. Chem. Inf. Model., 2019, 59(5): 1849.

[7]	Li W Z, Wang D H, Yang Z R, Zhang H J, Hu L H, Chen G H. J. Chem. Inf. Model., 2021, acs.jcim.1c01305.

[8]	Yang J, Xu J F, Zhang X L, Wu C Y, Lin T, Ying Y B. Anal. Chimica Acta, 2019, 1081: 6.

[9]	Shao X G, Leung A K M, Chau F T. Acc. Chem. Res., 2003, 36(4): 276.

[10]	Cai W S, Li Y K, Shao X G. Chemom. Intell. Lab. Syst., 2008, 90(2): 188.

[11]	Zhang J, Cui X Y, Cai W S, Shao X G. Sci. China Chem., 2019, 62(2): 271.

[12]

Kermany D S, Goldbaum M, Cai W J, Valentim C C S, Liang H Y, Baxter S L, McKeown A, Yang G, Wu X K, Yan F B, Dong J, Prasadha M K, Pei J, Ting M Y L, Zhu J, Li C, Hewett S, Dong J, Ziyar I, Shi A, Zhang R Z, Zheng L H, Hou R, Shi W, Fu X, Duan Y O, Huu V A N, Wen C, Zhang E D, Zhang C L, Li O L, Wang X B, Singer M A, Sun X D, Xu J, Tafreshi A, Lewis M A, Xia H M, Zhang K. Cell, 2018, 172(5): 1122.

[13]	Wang P, Xiao X, Glissen Brown J R, Berzin T M, Tu M T, Xiong F, Hu X, Liu P X, Song Y, Zhang D, Yang X, Li L P, He J, Yi X, Liu J J, Liu X G. Nat. Biomed. Eng., 2018, 2(10): 741.

[14]	Shi Z, Miao C C, Schoepf U J, Savage R H, Dargis D M, Pan C W, Chai X, Li X L, Xia S, Zhang X, Gu Y, Zhang Y G, Hu B, Xu W D, Zhou C S, Luo S, Wang H, Mao L, Liang K M, Wen L L, Zhou L J, Yu Y Z, Lu G M, Zhang L J. Nat. Commun., 2020, 11: 6090.

[15]	He H, Yan S, Lyu D Y, Xu M X, Ye R Q, Zheng P, Lu X Y, Wang L, Ren B. Anal. Chem., 2021, 93(8): 3653.

[16]	Shen D G, Wu G R, Suk H I. Annu. Rev. Biomed. Eng., 2017, 19: 221.

[17]	McCulloch W S, Pitts W. Bull. Math. Biophys., 1943, 5(4): 115.

[18]	Rosenblatt F. Psychol. Rev., 1958, 65(6): 386.

[19]	Rumelhart D E, Hinton G E, Williams R J. California Univ San Diego La Jolla Inst for Cognitive Science, 1985, 1.

[20]	Long J, Shelhamer E, Darrell T. 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA. IEEE, 2015, 3431.

[21]	Ronneberger O, Fischer P, Brox T. International Conference on Medical Image Computing and Computer-Assisted Intervention, 2015, 234.

[22]	Hochreiter S, Schmidhuber J. Neural Comput., 1997, 9(8): 1735.

[23]	Cho K, Van Merriënboer B, Gulcehre C, Bahdanau D, Bougares F, Schwenk H, Bengio Y. arXiv preprint arXiv:1406.1078, 2014.

[24]	Bahdanau D, Cho K, Bengio Y. arXiv preprint arXiv:1409.0473, 2014.

[25]	Luong M-T, Pham H, Manning C D. arXiv preprint arXiv:1508.04025, 2015.

[26]	Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez A N, Kaiser Ł, Polosukhin I. Advances in neural information processing systems, 2017.

[27]	Goodfellow I, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A, Bengio Y. Advances in neural information processing systems, 2014.

[28]	Isola P, Zhu J Y, Zhou T H, Efros A A. 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA. IEEE, 2017, 5967.

[29]	Zhu J Y, Park T, Isola P, Efros A A. 2017 IEEE International Conference on Computer Vision. Venice, Italy. IEEE, 2017, 2242.

[30]	Zhou B L, Khosla A, Lapedriza A, Oliva A, Torralba A. 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. IEEE,2016, 2921.

[31]	Selvaraju R R, Cogswell M, Das A, Vedantam R, Parikh D, Batra D. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2017, 618.

[32]	Sundararajan M, Taly A, Yan Q Q. International Conference on Machine Learning, 2017, 3319.

[33]	Zeiler M D, Fergus R. European Conference on Computer Vision, 2014, 818.

[34]	Fong R C, Vedaldi A. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2017, 3429.

[35]	Zintgraf L M, Cohen T S, Adel T, Welling M. arXiv preprint arXiv:1702.04595, 2017.

[36]	Ribeiro M T, Singh S, Guestrin C.Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco California USA. New York, NY, USA: ACM, 2016, 1135.

[37]	Lundberg S M, Lee S-I.Proceedings of the 31st International Conference on Neural Information Processing Systems, 2017, 4768.

[38]	Frosst N, Hinton G. arXiv preprint arXiv:1711.09784, 2017.

[39]	Xu K, Ba J, Kiros R, Cho K, Courville A, Salakhudinov R, Zemel R, Bengio Y. International Conference on Machine Learning, 2015, 2048.

[40]	Zellers R, Bisk Y, Farhadi A, Choi Y. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA. IEEE, 2019, 6713.

[41]	Alvarez-Melis D, Jaakkola T S. arXiv preprint arXiv:1806.07538, 2018.

[42]	Bian X H, Li S J, Shao X G, Liu P. Chemom. Intell. Lab. Syst., 2016, 158: 174.

[43]	Zhang M, Cai W S, Shao X G. Anal., 2011, 136(20): 4217.

[44]	Ju L, Lyu A H, Hao H X, Shen W, Cui H. Anal. Chem., 2019, 91(15): 9343.

[45]	Ni C, Wang D Y, Tao Y. Spectrochim. Acta, Part A, 2019, 209: 32.

[46]	Zhang C, Wu W Y, Zhou L, Cheng H, Ye X Q, He Y. Food Chem., 2020, 319: 126536.

[47]	Xiong Y R, Yang W Y, Liao H Y, Gong Z L, Xu Z Z, Du Y P, Li W. Chemom. Intell. Lab. Syst., 2022, 223: 104532.

[48]	Huang G Z, Yuan L M, Shi W, Chen X, Chen X J. Food Chem., 2022, 372: 131219.

[49]	Shin H, Oh S, Hong S, Kang M, Kang D, Ji Y G, Choi B H, Kang K W, Jeong H, Park Y, Hong S, Kim H K, Choi Y. ACS Nano, 2020, 14(5): 5435.

[50]	Shu C, Yan H S, Zheng W, Lin K, James A, Selvarajan S, Lim C M, Huang Z W. Anal. Chem., 2021, 93(31): 10898.

[51]	Huang J L, Wen J X, Zhou M J, Ni S, Le W, Chen G, Wei L, Zeng Y, Qi D J, Pan M, Xu J N, Wu Y, Li Z Y, Feng Y L, Zhao Z Q, He Z B, Li B, Zhao S N, Zhang B H, Xue P L, He S S, Fang K, Zhao Y Y, Du K. Anal. Chem., 2021, 93(26): 9174.

[52]	Yu S X, Li X, Lu W L, Li H F, Fu Y V, Liu F H. Anal. Chem., 2021, 93(32): 11089.

[53]	Zhou L, Zhang C, Taha M F, Wei X H, He Y, Qiu Z J, Liu Y F. Front. Plant Sci., 2020, 11: 575810.

[54]	Yang S, Li C X, Mei Y, Liu W, Liu R, Chen W L, Han D H, Xu K X. Front. Nutr., 2021, 8: 680627.

[55]	Ma Z R, Wang F F, Wang W Z, Zhong Y T, Dai H J. Deep learning for in vivo near-infrared imaging. Proc. Natl. Acad. Sci. U. S. A., 2021, 118(1): e2021446118.

[56]	Guo S X, Mayerhöfer T, Pahlow S, Hübner U, Popp J, Bocklitz T. Anal., 2020, 145(15): 5213.

[57]	Badrinarayanan V, Handa A, Cipolla R. arXiv preprint arXiv:1505.07293, 2015.

[58]	Fu J, Liu J, Tian H J, Li Y, Bao Y J, Fang Z W, Lu H Q. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA. IEEE, 2019, 3141.

[59]	Bouteldja N, Klinkhammer B M, Bülow R D, Droste P, Otten S W, von Stillfried S F, Moellmann J, Sheehan S M, Korstanje R, Menzel S, Bankhead P, Mietsch M, Drummer C, Lehrke M, Kramann R, Floege J, Boor P, Merhof D. J. Am. Soc. Nephrol., 2021, 32(1): 52.

[60]	Wang X D, Chen Y, Gao Y S, Zhang H Q, Guan Z H, Dong Z, Zheng Y X, Jiang J R, Yang H Q, Wang L M, Huang X M, Ai L R, Yu W L, Li H W, Dong C S, Zhou Z, Liu X Y, Yu G Z. Nat. Commun., 2021, 12: 1637.

[61]

Zhang K, Liu X H, Shen J, Li Z H, Sang Y, Wu X W, Zha Y F, Liang W H, Wang C D, Wang K, Ye L S, Gao M, Zhou Z G, Li L, Wang J, Yang Z H, Cai H M, Xu J, Yang L, Cai W J, Xu W Q, Wu S X, Zhang W, Jiang S P, Zheng L H, Zhang X, Wang L, Lu L, Li J M, Yin H P, Wang W, Li O L, Zhang C, Liang L, Wu T, Deng R Y, Wei K, Zhou Y, Chen T, Lau J Y N, Fok M, He J X, Lin T X, Li W M, Wang G Y. Cell, 2020, 181(6): 1423.

[62]

Wang G Y, Liu X H, Shen J, Wang C D, Li Z H, Ye L S, Wu X W, Chen T, Wang K, Zhang X, Zhou Z G, Yang J, Sang Y, Deng R Y, Liang W H, Yu T, Gao M, Wang J, Yang Z H, Cai H M, Lu G M, Zhang L Y, Yang L, Xu W Q, Wang W, Olvera A, Ziyar I, Zhang C, Li O L, Liao W H, Liu J, Chen W, Chen W, Shi J C, Zheng L H, Zhang L J, Yan Z H, Zou X G, Lin G P, Cao G Q, Lau L L, Mo L, Liang Y, Roberts M, Sala E, Schönlieb C B, Fok M, Lau J Y N, Xu T, He J X, Zhang K, Li W M, Lin T X. Nat. Biomed. Eng., 2021, 5(8): 509.

[63]	Lee H, Yune S, Mansouri M, Kim M, Tajmir S H, Guerrier C E, Ebert S A, Pomerantz S R, Romero J M, Kamalian S, Gonzalez R G, Lev M H, Do S. Nat. Biomed. Eng., 2019, 3(3): 173.

[64]	Zhou D J, Tian F, Tian X D, Sun L, Huang X H, Zhao F, Zhou N, Chen Z Y, Zhang Q, Yang M, Yang Y C, Guo X X, Li Z B, Liu J, Wang J F, Wang J F, Wang B M, Zhang G L, Sun B C, Zhang W, Kong D L, Chen K X, Li X C. Nat. Commun., 2020, 11: 2961.

[65]	Gehrung M, Crispin-Ortuzar M, Berman A G, O’Donovan M, Fitzgerald R C, Markowetz F. Nat. Med., 2021, 27(5): 833.

[66]	Qian X J, Pei J, Zheng H, Xie X X, Yan L, Zhang H, Han C G, Gao X, Zhang H Q, Zheng W W, Sun Q, Lu L, Shung K K. Nat. Biomed. Eng., 2021, 5(6): 522.

[67]	Liu Y, Jain A, Eng C, Way D H, Lee K, Bui P, Kanada K, de Oliveira Marinho G, Gallegos J, Gabriele S, Gupta V, Singh N, Natarajan V, Hofmann-Wellenhof R, Corrado G S, Peng L H, Webster D R, Ai D, Huang S J, Liu Y, Dunn R C, Coz D. Nat. Med., 2020, 26(6): 900.

[68]	Yu G, Sun K, Xu C, Shi X H, Wu C, Xie T, Meng R Q, Meng X H, Wang K S, Xiao H M, Deng H W. Nat. Commun., 2021, 12: 6311.

[1]	Miotto R, Wang F, Wang S, Jiang X Q, Dudley J T. Brief. Bioinform., 2018, 19(6): 1236.
[2]	Senior A W, Evans R, Jumper J, Kirkpatrick J, Sifre L, Green T, Qin C L, ?ídek A, Nelson A W R, Bridgland A, Penedones H, Petersen S, Simonyan K, Crossan S, Kohli P, Jones D T, Silver D, Kavukcuoglu K, Hassabis D. Nature, 2020, 577(7792): 706.
[3]	Jing R Y, Li Y Z, Xue L, Liu F J, Li M L, Luo J S. J. Chem. Inf. Model., 2020, 60(8): 3755.
[4]	Yang X, Wang Y F, Byrne R, Schneider G, Yang S Y. Chem. Rev., 2019, 119(18): 10520.
[5]	Zhang X L, Lin T, Xu J F, Luo X, Ying Y B. Anal. Chimica Acta, 2019, 1058: 48.
[6]	Li W Z, Miao W, Cui J X, Fang C, Su S T, Li H Z, Hu L H, Lu Y H, Chen G H. J. Chem. Inf. Model., 2019, 59(5): 1849.
[7]	Li W Z, Wang D H, Yang Z R, Zhang H J, Hu L H, Chen G H. J. Chem. Inf. Model., 2021, acs.jcim.1c01305.
[8]	Yang J, Xu J F, Zhang X L, Wu C Y, Lin T, Ying Y B. Anal. Chimica Acta, 2019, 1081: 6.
[9]	Shao X G, Leung A K M, Chau F T. Acc. Chem. Res., 2003, 36(4): 276.
[10]	Cai W S, Li Y K, Shao X G. Chemom. Intell. Lab. Syst., 2008, 90(2): 188.
[11]	Zhang J, Cui X Y, Cai W S, Shao X G. Sci. China Chem., 2019, 62(2): 271.
[12]	Kermany D S, Goldbaum M, Cai W J, Valentim C C S, Liang H Y, Baxter S L, McKeown A, Yang G, Wu X K, Yan F B, Dong J, Prasadha M K, Pei J, Ting M Y L, Zhu J, Li C, Hewett S, Dong J, Ziyar I, Shi A, Zhang R Z, Zheng L H, Hou R, Shi W, Fu X, Duan Y O, Huu V A N, Wen C, Zhang E D, Zhang C L, Li O L, Wang X B, Singer M A, Sun X D, Xu J, Tafreshi A, Lewis M A, Xia H M, Zhang K. Cell, 2018, 172(5): 1122.
[13]	Wang P, Xiao X, Glissen Brown J R, Berzin T M, Tu M T, Xiong F, Hu X, Liu P X, Song Y, Zhang D, Yang X, Li L P, He J, Yi X, Liu J J, Liu X G. Nat. Biomed. Eng., 2018, 2(10): 741.
[14]	Shi Z, Miao C C, Schoepf U J, Savage R H, Dargis D M, Pan C W, Chai X, Li X L, Xia S, Zhang X, Gu Y, Zhang Y G, Hu B, Xu W D, Zhou C S, Luo S, Wang H, Mao L, Liang K M, Wen L L, Zhou L J, Yu Y Z, Lu G M, Zhang L J. Nat. Commun., 2020, 11: 6090.
[15]	He H, Yan S, Lyu D Y, Xu M X, Ye R Q, Zheng P, Lu X Y, Wang L, Ren B. Anal. Chem., 2021, 93(8): 3653.
[16]	Shen D G, Wu G R, Suk H I. Annu. Rev. Biomed. Eng., 2017, 19: 221.
[17]	McCulloch W S, Pitts W. Bull. Math. Biophys., 1943, 5(4): 115.
[18]	Rosenblatt F. Psychol. Rev., 1958, 65(6): 386.
[19]	Rumelhart D E, Hinton G E, Williams R J. California Univ San Diego La Jolla Inst for Cognitive Science, 1985, 1.
[20]	Long J, Shelhamer E, Darrell T. 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA. IEEE, 2015, 3431.
[21]	Ronneberger O, Fischer P, Brox T. International Conference on Medical Image Computing and Computer-Assisted Intervention, 2015, 234.
[22]	Hochreiter S, Schmidhuber J. Neural Comput., 1997, 9(8): 1735.
[23]	Cho K, Van Merri?nboer B, Gulcehre C, Bahdanau D, Bougares F, Schwenk H, Bengio Y. arXiv preprint arXiv:1406.1078, 2014.
[24]	Bahdanau D, Cho K, Bengio Y. arXiv preprint arXiv:1409.0473, 2014.
[25]	Luong M-T, Pham H, Manning C D. arXiv preprint arXiv:1508.04025, 2015.
[26]	Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez A N, Kaiser ?, Polosukhin I. Advances in neural information processing systems, 2017.
[27]	Goodfellow I, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A, Bengio Y. Advances in neural information processing systems, 2014.
[28]	Isola P, Zhu J Y, Zhou T H, Efros A A. 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA. IEEE, 2017, 5967.
[29]	Zhu J Y, Park T, Isola P, Efros A A. 2017 IEEE International Conference on Computer Vision. Venice, Italy. IEEE, 2017, 2242.
[30]	Zhou B L, Khosla A, Lapedriza A, Oliva A, Torralba A. 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. IEEE,2016, 2921.
[31]	Selvaraju R R, Cogswell M, Das A, Vedantam R, Parikh D, Batra D. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2017, 618.
[32]	Sundararajan M, Taly A, Yan Q Q. International Conference on Machine Learning, 2017, 3319.
[33]	Zeiler M D, Fergus R. European Conference on Computer Vision, 2014, 818.
[34]	Fong R C, Vedaldi A. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2017, 3429.
[35]	Zintgraf L M, Cohen T S, Adel T, Welling M. arXiv preprint arXiv:1702.04595, 2017.
[36]	Ribeiro M T, Singh S, Guestrin C.Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco California USA. New York, NY, USA: ACM, 2016, 1135.
[37]	Lundberg S M, Lee S-I.Proceedings of the 31st International Conference on Neural Information Processing Systems, 2017, 4768.
[38]	Frosst N, Hinton G. arXiv preprint arXiv:1711.09784, 2017.
[39]	Xu K, Ba J, Kiros R, Cho K, Courville A, Salakhudinov R, Zemel R, Bengio Y. International Conference on Machine Learning, 2015, 2048.
[40]	Zellers R, Bisk Y, Farhadi A, Choi Y. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA. IEEE, 2019, 6713.
[41]	Alvarez-Melis D, Jaakkola T S. arXiv preprint arXiv:1806.07538, 2018.
[42]	Bian X H, Li S J, Shao X G, Liu P. Chemom. Intell. Lab. Syst., 2016, 158: 174.
[43]	Zhang M, Cai W S, Shao X G. Anal., 2011, 136(20): 4217.
[44]	Ju L, Lyu A H, Hao H X, Shen W, Cui H. Anal. Chem., 2019, 91(15): 9343.
[45]	Ni C, Wang D Y, Tao Y. Spectrochim. Acta, Part A, 2019, 209: 32.
[46]	Zhang C, Wu W Y, Zhou L, Cheng H, Ye X Q, He Y. Food Chem., 2020, 319: 126536.
[47]	Xiong Y R, Yang W Y, Liao H Y, Gong Z L, Xu Z Z, Du Y P, Li W. Chemom. Intell. Lab. Syst., 2022, 223: 104532.
[48]	Huang G Z, Yuan L M, Shi W, Chen X, Chen X J. Food Chem., 2022, 372: 131219.
[49]	Shin H, Oh S, Hong S, Kang M, Kang D, Ji Y G, Choi B H, Kang K W, Jeong H, Park Y, Hong S, Kim H K, Choi Y. ACS Nano, 2020, 14(5): 5435.
[50]	Shu C, Yan H S, Zheng W, Lin K, James A, Selvarajan S, Lim C M, Huang Z W. Anal. Chem., 2021, 93(31): 10898.
[51]	Huang J L, Wen J X, Zhou M J, Ni S, Le W, Chen G, Wei L, Zeng Y, Qi D J, Pan M, Xu J N, Wu Y, Li Z Y, Feng Y L, Zhao Z Q, He Z B, Li B, Zhao S N, Zhang B H, Xue P L, He S S, Fang K, Zhao Y Y, Du K. Anal. Chem., 2021, 93(26): 9174.
[52]	Yu S X, Li X, Lu W L, Li H F, Fu Y V, Liu F H. Anal. Chem., 2021, 93(32): 11089.
[53]	Zhou L, Zhang C, Taha M F, Wei X H, He Y, Qiu Z J, Liu Y F. Front. Plant Sci., 2020, 11: 575810.
[54]	Yang S, Li C X, Mei Y, Liu W, Liu R, Chen W L, Han D H, Xu K X. Front. Nutr., 2021, 8: 680627.
[55]	Ma Z R, Wang F F, Wang W Z, Zhong Y T, Dai H J. Deep learning for in vivo near-infrared imaging. Proc. Natl. Acad. Sci. U. S. A., 2021, 118(1): e2021446118.
[56]	Guo S X, Mayerh?fer T, Pahlow S, Hübner U, Popp J, Bocklitz T. Anal., 2020, 145(15): 5213.
[57]	Badrinarayanan V, Handa A, Cipolla R. arXiv preprint arXiv:1505.07293, 2015.
[58]	Fu J, Liu J, Tian H J, Li Y, Bao Y J, Fang Z W, Lu H Q. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA. IEEE, 2019, 3141.
[59]	Bouteldja N, Klinkhammer B M, Bülow R D, Droste P, Otten S W, von Stillfried S F, Moellmann J, Sheehan S M, Korstanje R, Menzel S, Bankhead P, Mietsch M, Drummer C, Lehrke M, Kramann R, Floege J, Boor P, Merhof D. J. Am. Soc. Nephrol., 2021, 32(1): 52.
[60]	Wang X D, Chen Y, Gao Y S, Zhang H Q, Guan Z H, Dong Z, Zheng Y X, Jiang J R, Yang H Q, Wang L M, Huang X M, Ai L R, Yu W L, Li H W, Dong C S, Zhou Z, Liu X Y, Yu G Z. Nat. Commun., 2021, 12: 1637.
[61]	Zhang K, Liu X H, Shen J, Li Z H, Sang Y, Wu X W, Zha Y F, Liang W H, Wang C D, Wang K, Ye L S, Gao M, Zhou Z G, Li L, Wang J, Yang Z H, Cai H M, Xu J, Yang L, Cai W J, Xu W Q, Wu S X, Zhang W, Jiang S P, Zheng L H, Zhang X, Wang L, Lu L, Li J M, Yin H P, Wang W, Li O L, Zhang C, Liang L, Wu T, Deng R Y, Wei K, Zhou Y, Chen T, Lau J Y N, Fok M, He J X, Lin T X, Li W M, Wang G Y. Cell, 2020, 181(6): 1423.
[62]	Wang G Y, Liu X H, Shen J, Wang C D, Li Z H, Ye L S, Wu X W, Chen T, Wang K, Zhang X, Zhou Z G, Yang J, Sang Y, Deng R Y, Liang W H, Yu T, Gao M, Wang J, Yang Z H, Cai H M, Lu G M, Zhang L Y, Yang L, Xu W Q, Wang W, Olvera A, Ziyar I, Zhang C, Li O L, Liao W H, Liu J, Chen W, Chen W, Shi J C, Zheng L H, Zhang L J, Yan Z H, Zou X G, Lin G P, Cao G Q, Lau L L, Mo L, Liang Y, Roberts M, Sala E, Sch?nlieb C B, Fok M, Lau J Y N, Xu T, He J X, Zhang K, Li W M, Lin T X. Nat. Biomed. Eng., 2021, 5(8): 509.
[63]	Lee H, Yune S, Mansouri M, Kim M, Tajmir S H, Guerrier C E, Ebert S A, Pomerantz S R, Romero J M, Kamalian S, Gonzalez R G, Lev M H, Do S. Nat. Biomed. Eng., 2019, 3(3): 173.
[64]	Zhou D J, Tian F, Tian X D, Sun L, Huang X H, Zhao F, Zhou N, Chen Z Y, Zhang Q, Yang M, Yang Y C, Guo X X, Li Z B, Liu J, Wang J F, Wang J F, Wang B M, Zhang G L, Sun B C, Zhang W, Kong D L, Chen K X, Li X C. Nat. Commun., 2020, 11: 2961.
[65]	Gehrung M, Crispin-Ortuzar M, Berman A G, O’Donovan M, Fitzgerald R C, Markowetz F. Nat. Med., 2021, 27(5): 833.
[66]	Qian X J, Pei J, Zheng H, Xie X X, Yan L, Zhang H, Han C G, Gao X, Zhang H Q, Zheng W W, Sun Q, Lu L, Shung K K. Nat. Biomed. Eng., 2021, 5(6): 522.
[67]	Liu Y, Jain A, Eng C, Way D H, Lee K, Bui P, Kanada K, de Oliveira Marinho G, Gallegos J, Gabriele S, Gupta V, Singh N, Natarajan V, Hofmann-Wellenhof R, Corrado G S, Peng L H, Webster D R, Ai D, Huang S J, Liu Y, Dunn R C, Coz D. Nat. Med., 2020, 26(6): 900.
[68]	Yu G, Sun K, Xu C, Shi X H, Wu C, Xie T, Meng R Q, Meng X H, Wang K S, Xiao H M, Deng H W. Nat. Commun., 2021, 12: 6311.