本论文在论文分享会中分享，点击查看论文PPT 👆

⭐论文信息

文献类型：Cell 子刊
发表刊物：Cell Reports Medicine
发表时间：2025
发表单位：美国纽约布法罗大学等

⭐summary

第一句话：任务背景：辅助化疗和免疫检查点抑制剂已被证明对胃癌有持久的抗肿瘤作用。但目前缺乏有效的生物标志物，（无法准确预测哪些患者会真正从这些治疗中获益）。这限制了个体化治疗的发展。

第二句话：本文方法与任务：我们提出了一种注意力增强的残差Swin Transformer网络，用于预测化疗反应（主要任务），并且使用两个预测子任务（免疫评分和骨膜素[POSTN]）作为中间任务，以提高模型的性能。（利用3,095名胃癌患者的多组队列数据）

第三句话：强调临床意义：此外，我们还评估了该模型是否能识别哪些患者会从免疫治疗中受益。

第四句话：实验效果：该深度学习模型在预测化疗反应和肿瘤微环境（免疫评分和POSTN）方面表现出较高的准确性。我们进一步发现，该模型能够识别出哪些患者可能从检查点阻断免疫治疗中受益。

第五句话：小结：这一方法提供了精准的化疗和免疫治疗反应预测，为个性化治疗方案开辟了新的途径。未来的前瞻性研究有望验证其临床应用价值。

⭐Introduction

段落一：任务急迫性1：缺乏有效生物标注物预测化疗疗效，关键词：标题中的chemotherapy：以5-氟尿嘧啶为基础的化疗被认为是根治性手术后II–III期胃癌（GC）的标准治疗，能够在一些患者中产生持久的抗肿瘤反应（化疗是胃癌标准治疗手段）。然而，尽管辅助化疗具有生存获益，晚期胃癌的5年总生存率仍低于40%，这突显出相当一部分患者可能面临不必要或延误治疗的显著风险（化疗的治疗矛盾）。这些矛盾的结果表明，迫切需要临床预测生物标志物，以识别哪些患者能够从辅助化疗中获益。目前，缺乏有效的生物标志物来预测5-氟尿嘧啶基础化疗的疗效，因此，为胃癌患者个性化治疗寻找预测性生物标志物显得尤为关键且迫切。

段落二：任务急迫性2：缺乏有效生物标注物预测免疫治疗疗效，关键词：标题中的immunotherapy response：（免疫治疗：）近年来，免疫治疗的出现，包括免疫检查点抑制剂（ICIs）、癌症疫苗、溶瘤病毒和细胞治疗，彻底改变了癌症治疗的格局。在这些治疗方法中，免疫检查点抑制剂已成为晚期胃癌的首选治疗方案。初步的积极结果也表明围手术期免疫治疗具有一定的疗效。（引出任务重要性）：然而，免疫检查点抑制剂的低反应率以及难以识别获益患者群体仍然是主要的临床挑战。尽管像程序性死亡配体1（PD-L1）、埃布斯坦-巴尔病毒、微卫星不稳定性和肿瘤突变负荷等生物标志物已被批准用于指导免疫检查点抑制剂治疗，但没有任何一种能够完全预测免疫治疗的反应。因此，准确识别能够从免疫治疗中获益的患者，以最大化治疗效果，是一个亟待解决的关键问题。

段落三：有效评估TME对免疫治疗/化疗的价值，关键词：标题中的TME-guided：（TME介绍：）肿瘤微环境（TME）由固有免疫细胞、适应性免疫细胞、细胞因子和细胞外基质成分组成。这些元素形成了一个复杂的调控网络，在肿瘤进展和治疗反应中发挥着至关重要的作用。（TME在免疫治疗反应/化疗反应的价值）：准确评估肿瘤微环境可以提高胃癌免疫治疗效果的评估。此外，患者的肿瘤免疫状态与化疗反应密切相关，这凸显了将肿瘤微环境评估纳入化疗反应评估中的价值。 （引出子任务）：我们的前期研究表明，免疫评分（ImmunoScore）和骨膜素（POSTN）表达与化疗获益显著相关。（挖坑：评估TME难点）：然而，依赖组织病理学染色评估肿瘤微环境存在一定局限性，如侵入性强、样本异质性大、成本高、耗时且技术复杂。因此，开发一种非侵入性且具有成本效益的模型来评估化疗反应，并整合肿瘤微环境状态以提升模型性能，

段落四：多任务深度学习是一种非侵入且高效的方法，关键词：标题中的deep learning：（放射影像深度学习是非侵入预测工具）：放射影像是癌症患者（包括胃癌患者）常规用于诊断、分期和治疗评估的非侵入性工具。近年来，深度学习作为一种变革性的方法，已经能够自动从标注的肿瘤图像中学习代表性特征，以进行疾病评估。（单任务模型）：传统上，深度学习模型通常是为单一任务设计的，例如预测特定的临床结果（如淋巴结转移）。（多任务模型）：相比之下，多任务深度学习使得在一个模型中同时分析不同的任务成为可能。通过共享特征表示和相关任务之间的交互，多任务学习具有更高的数据利用效率，并且已被证明能够减少过拟合并提高模型在各种应用中的泛化能力，包括计算机视觉、疾病诊断和药物发现。

这里的具有更高的数据利用效率正好对应上一段的成本效益模型，放射影像的非侵入性工具对应上一段非侵入性的模型

段落五：介绍本文方法与优势，标题中的attention-enhanced residual Swin Transformer：（总结本文方法）：在这项研究中，我们开发了一种多任务深度学习模型，称为注意力增强的残差Swin Transformer（AER-SwinT），用于通过术前计算机断层扫描（CT）图像同时预测化疗反应和肿瘤微环境（TME）特征。（方法优势1（多层次粒度分析））：与现有的卷积神经网络（CNN）或基于变换器的方法相比，我们的方法能够捕捉全局特征关系，同时利用多层次粒度进行数据分析。AER-SwinT使用SwinTransformer从CT图像中提取层次化特征，能够在从精细到粗略的不同粒度级别进行分析。（注意力增强+残差动机）：此外，基于通道平均的注意力图和残差连接增强了AER-SwinT模型动态调整焦点的能力，从而改善了多阶段特征提取。（方法优势2（多任务学习））：更重要的是，这种多任务学习方法使模型能够从训练数据中捕捉更全面的特征。通过将化疗反应作为主要任务，免疫评分（ImmunoScore）和骨膜素（POSTN）表达作为中间任务，该模型利用这些具有临床相关性的免疫生物标志物，提升了预测准确性，相比单任务方法更为精准。

⭐研究流程

步骤1：生物学引导的Swin-Transformer模型开发

训练队列（n=224，II-III期胃癌）：使用CT影像数据和临床数据来训练AER-SwinT模型。
数据处理：CT影像和临床数据被送入深度学习模型（AER-SwinT）进行训练和预测。
多任务预测：主任务：预测化疗反应（敏感/耐药性），进行免疫组化染色（子任务）：预测免疫评分（ImmunoScore）和骨髓素表达。

步骤2：模型验证

化疗反应预测（主要任务）：通过使用化疗记录、CT图像、临床数据和随访数据进行预测（队列2+3+4+5+6+7，共2,593名患者）。
免疫评分预测（ImmunoScore）：通过CT影像和临床数据来预测免疫评分（队列3+4，共584名患者）。
POSTN预测：预测骨膜素（POSTN）的表达（队列3+4，共584名患者）。
免疫治疗反应预测（免疫反应）：评估哪些患者可能从免疫治疗中受益（队列8+9，共276名患者）。

用不同队列的数据去验证不同的任务，因为不同队列接收的治疗不同，只适合验证对应的任务

步骤3：性能评估

化疗反应与获益预测：通过Kaplan-Meier生存曲线，评估化疗反应的影响（生存期）。
免疫评分和POSTN分类：评估免疫评分和POSTN预测的效果，包括AUC（曲线下面积）和其他指标。
免疫治疗反应预测：通过预测免疫治疗反应（例如，PD、SD或OR）。

⭐方法

图中我给出了俩个网络结构，上边是这篇文章提出的注意力增强的残差Swin Transformer（AER-SwinT）网络结构，下边是Swin Transformer的基本结构。上图中标红的框表示本文的创新点，主要体现在注意力增强模块残差连接和后续的多任务学习。要想这篇论文技术弄明白，得前置理解Swin Transformer，这里给出一个博客链接：Swin Transformer详解及代码实现，由于这篇论文是Cell子刊，且侧重于医学应用，并没有在技术细节上过多展开，这里随意介绍一下它的技术，实话说，技术创新不大。

没有创新的部分

这里主要介绍swin transformer中的三个模块，Patch Partitionin、ST Block、Patch Merging。

Patch Partitioning

该模块将输入图像划分为固定大小的非重叠补丁（窗口），并将每个补丁展平为一维向量。如图（A）所示，假设输入图像的尺寸为 H×W×1C，补丁大小为 4×4，则输出特征图的尺寸为$\frac{H}{4} \times \frac{W}{4} \times 16C$。

Swin Transformer Block

Swin Transformer Block（ST Block）是Swin Transformer的核心组件。它由两个主要子模块组成：窗口多头自注意力（W-MSA）和移位窗口多头自注意力（SW-MSA）。W-MSA 在固定窗口内计算自注意力，而 SW-MSA 通过在相邻层之间移动窗口来实现跨窗口的信息交流。每个子模块后面都跟着一个两层 MLP 和层归一化（Layer Normalization）。此外，ST Block 还包含残差连接，以促进梯度流动和模型训练。此模块不会改变输入特征图的尺寸。

注意，swin transformer中的自注意力机制与传统的自注意力机制（VIT和transformer采用的）不同，传统的自注意力机制是对整个图像进行计算，而swin transformer是对局部窗口进行计算，这样可以减少计算量，同时也能捕捉局部特征。然而只对局部窗口计算会导致信息交流受限，因此引入了移位窗口机制，通过在相邻层之间移动窗口，实现跨窗口的信息交流，从而增强模型的表达能力。

Patch Merging

Patch Merging 模块用于在不同阶段之间下采样特征图，即降低分辨率。如图（C）所示，假设输入特征图的尺寸为 H×W×C，则输出特征图的尺寸为$\frac{H}{2} \times \frac{W}{2} \times 4C$。该模块通过将相邻的 2×2 补丁合并为一个补丁，这样形状就减小了一半，同时通道数增加了四倍，即变为 $\frac{H}{2} \times \frac{W}{2} \times 4C$，接着通过线性投影将通道数减少到期望的维度，即进行4C到2C的转换，最终输出尺寸为$\frac{H}{2} \times \frac{W}{2} \times 2C$。因此patch merging模块会把特征图尺寸减小一半，同时通道数增加一倍。

特征提取流程

这里我们按照图像尺寸逐步介绍特征提取的流程：

  1. 输入图像尺寸为 $224 \times 224 \times 1$。AER-SwinT使用SwinTransformer从图像中提取层次化特征，能够在从精细到粗略的不同粒度级别进行分析。
  2. 经过Patch Partitioning模块，图像被划分为 $56 \times 56$ 个补丁，每个补丁大小为 $4 \times 4$，因此输出特征图尺寸为 $56 \times 56 \times 16$。
    3.进入stage1，Linear Embedding模块将通道数从 16 增加到 C，得到 $56 \times 56 \times C$ 的特征图。
  3. 接着，经过Swin Transformer Block，进行注意力计算和特征提取，输出尺寸仍为 $56 \times 56 \times C$。
  4. 这里进入到作者创新的Channel Average 模块，它对每个通道进行平均，获得每一个窗的注意力得分，即 $56 \times 56 \times 1$ 的注意力图。
  5. **注意力图 通过逐个点乘 和 残差连接提取的ST-W特征 结合 获得 stage1 的输出$56 \times 56 \times C$。以上被包装为 基于通道平均的注意力增强。
  6. 进入stage2，经过Patch Merging模块，特征图尺寸减小一半，变为 $28 \times 28 \times 2C$。
  7. 就此循环，经过四个stage，最终得到四个不同尺度的特征图，分别为：
    • Stage1 输出：$56 \times 56 \times C$
    • Stage2 输出：$28 \times 28 \times 2C$
    • Stage3 输出：$14 \times 14 \times 4C$
    • Stage4 输出：$7 \times 7 \times 8C$

多任务学习部分

经过特征提取后，得到最终特征图尺寸为 $7 \times 7 \times 8C$，这里即 $7 \times 7 \times 768$。接着作者通过全局平均池化（GAP）将特征图转换为一维向量，得到 $1 \times 1 \times 768$ 的特征向量。

此外本文还使用了8个临床特征，例如年龄、性别等信息，拼接后得到 $1 \times 1 \times 776$ 的特征向量。接着使用776特征先去预测2个子任务获得2维的输出，分别是免疫评分（ImmunoScore）和骨膜素（POSTN）。最后将776特征与2个子任务的输出拼接，得到 $1 \times 1 \times 778$ 的特征向量，用于预测主要任务：化疗反应（敏感/耐药性）。

最终，作者使用交叉熵损失函数来训练模型，优化主要任务和子任务的预测性能：

最终的总损失函数为：

⭐Experiments

实验数据

总体而言，男性患者1,926例（68.4%），中位年龄57.0岁（四分位数范围：49.0–65.0岁）；其中II–III期疾病2,579例（91.6%）。在治疗方面，接受氟尿嘧啶类辅助化疗的患者1,403例（54.4%）（用于化疗反应预测——主要任务），具有免疫组化（IHC）切片的患者808例（28.7%）（用于TME评估预测——子任务）。免疫治疗队列中男性161例（57.9%），中位年龄57.0岁（四分位数范围：48.0–65.0岁）。不同队列之间的人口学、临床病理和治疗特征总体相似且均衡。

实验一：化疗反应预测的准确率

ROC曲线显示了模型在不同队列中的预测性能。
在训练组和内部验证组中的曲线下面积（AUC）分别为0.900（95%置信区间：0.862–0.938）和0.886（95% ：0.851–0.920）。
在外部验证队列1中也观察到了类似的结果，AUC为0.881（95% CI：0.811–0.950），外部验证队列2的AUC为0.871（95% CI：0.834–0.908）
外部队列3-4也显示出相对较高的准确性，AUC分别为0.879（95% CI：0.828–0.930）和0.876（95% CI：0.812–0.940）

混淆矩阵显示了模型在不同队列中的分类性能。
混淆矩阵显示，模型预测与通过无病生存期（DFS）小于或大于等于2年分类定义的实际化疗反应一致。

实验二：免疫评分（ImmunoScore）预测的准确率

所提议的模型在预测免疫评分方面表现出一致的高准确性，在II期和III期患者中的曲线下面积（AUC）分别为0.839（95%置信区间[CI]：0.789–0.889）和0.842（95% CI：0.785–0.899）。在SYSUCC队列中也观察到了类似的结果，AUC分别为0.844（95% CI：0.765–0.922）和0.838（95% CI：0.740–0.936）。

我们还探讨了该模型在I期和IV期患者中的潜力。I期和IV期患者的AUC分别为0.835（95% CI：0.776–0.894）和0.841（95% CI：0.734–0.948）

混淆矩阵显示，模型预测与实际免疫评分类别一致

实验三：POSTN预测的准确率

在预测POSTN时，所提出的模型展示了持续较高的准确性，在II期和III期患者中的曲线下面积（AUC）分别为0.825（95%CI：0.772–0.878）和0.822（95% CI：0.762–0.883）。在SYSUCC队列中也观察到了类似的结果，AUC分别为0.817（95% CI：0.736–0.897）和0.848（95% CI：0.759–0.938）。

在I期和IV期患者中的AUC分别为0.818（95% CI：0.760–0.877）和0.872（95% CI：0.758–0.987）

混淆矩阵显示，POSTN类别预测的整体准确率为71%–81%

实验四：TME预测模型预后价值

作者继续探究了TME对预后是否有价值（俩个子任务ImmunoScore得分/POSTN表达 和预后的关系）。主要用了Kaplan-Meier生存曲线。Kaplan-Meier生存曲线即通过绘制生存曲线来比较不同组别患者的生存情况，从而评估预测模型的预后价值，其中横坐标表示时间（通常以月或年为单位），纵坐标表示生存概率（从1开始逐渐下降）。通过比较不同组别的生存曲线，可以评估预测模型在预后方面的有效性。

风险比（HR）：风险比是用来比较两组患者在特定时间内发生某个事件（如死亡或疾病复发）的风险的指标。HR值大于1表示实验组的风险高于对照组，HR值小于1表示实验组的风险低于对照组。总体来说，风险比离1越远，表示两组之间的风险差异越大。统计值P值用于评估观察到的差异是否具有统计学意义。通常，P值小于0.05被认为是统计学上显著的，越小越显著表示观察到的差异不太可能是由于随机因素引起的。

免疫评分的预后价值

图中红色线条表示免疫评分高的患者组，蓝色线条表示免疫评分低的患者组。从图中可以看出，免疫评分高的患者组的生存概率明显高于免疫评分低的患者组，说明免疫评分与患者的预后密切相关。

ImmunoScore的TME预测模型（风险比[HR]：0.501–0.662，p < 0.005）在各个队列中均与生存结局显著相关。预测为高ImmunoScore组的5年无病生存期（DFS）和总生存期（OS）分别为40.1%和45.7%，显著高于低ImmunoScore组的23.2%和28.4%（p < 0.001）。

POSTN的预后价值

图中红色线条表示POSTN高表达的患者组，蓝色线条表示POSTN低表达的患者组。从图中可以看出，POSTN低表达的患者组的生存概率明显高于POSTN高表达的患者组，说明POSTN表达与患者的预后密切相关。

POSTN的TME预测模型（HR：1.205–2.978，p < 0.05）在各个队列中均与生存结局显著相关。在低POSTN组中，5年DFS和OS分别为39.8%和45.1%，也显著优于高POSTN组的26.4%和31.8%（p < 0.001）。

实验五：与化疗获益的关联

我们进一步评估了深度学习模型在预测II期和III期患者接受辅助化疗后的生存获益方面的价值。首先，我们进行了倾向评分匹配（PSM）分析，以平衡接受化疗和未接受化疗患者的特征。通过1:1的患者匹配策略，我们实现了两组之间的临床特征相似性。随后，我们比较了根据预测的化疗反应状态（预测化疗敏感（PCS）或预测化疗耐药（PCR））分组的患者，接受或未接受化疗的生存结果。

倾向评分匹配分析：为了让化疗组和未化疗组之间更具可比性，我们使用倾向评分匹配（PSM）方法。通过1:1匹配，即每一个化疗组的患者都找一个相似的未化疗组患者进行比较，从而平衡两组之间的临床特征差异。

PCS组的生存获益：

紫色框线框出了PCS组的生存曲线。红色线条表示接受化疗的患者组，蓝色线条表示未接受化疗的患者组。从图中可以看出，接受化疗的患者组的生存概率明显高于未接受化疗的患者组，说明在PCS组中，化疗显著改善了患者的生存率。。

危险比的森林图中，紫色框线框出了PCS组的危险比。对于PCS组，接受化疗和未接受化疗患者的风险比显然分布集中，且风险比均小于1，表明化疗显著降低了患者的风险。

具体而言：对于PCS组的患者，辅助化疗与无病生存期（DFS）（HR范围：0.351–0.600，p < 0.05）和总生存期（OS）（HR范围：0.186–0.553，p < 0.05）改善相关。

PCR组的生存获益：

紫色框线框出了PCR组的生存曲线。红色线条表示接受化疗的患者组，蓝色线条表示未接受化疗的患者组。从图中可以看出，接受化疗的患者组和未接受化疗的患者组的生存概率差异不大，说明在PCR组中，化疗对患者的生存率影响有限。

同样地，危险比的森林图中，紫色框线框出了PCR组的危险比。对于PCR组，接受化疗和未接受化疗患者的风险比分布较为分散，且部分风险比接近或大于1，表明化疗对部分患者的风险影响不显著。

具体而言：然而，对于PCR组的患者，辅助化疗与DFS和OS没有显著改善，甚至可能对生存产生不利影响。

实验六：TME与抗PD-1免疫治疗反应的关联

本研究随后评估了深度学习肿瘤微环境（TME）生物标志物与两组独立队列中免疫疗法反应的关系，即疾病进展（PD）/稳定疾病（SD）组与客观缓解（OR）组。我们分析了预测的免疫评分（ImmunoScore）和骨膜素（POSTN）表达在免疫治疗反应中的作用。

其中 SD表示疾病稳定（肿瘤未明显增长或缩小），PD表示疾病进展（肿瘤继续增长或扩散），OR表示客观缓解/客观反应率（肿瘤明显缩小）。作者用OR指标反应免疫治疗的有效性。

在两组独立队列中，预测的高免疫评分（ImmunoScore）与更好的免疫治疗反应显著相关：可以看出高免疫评分组的OR比例明显高于低免疫评分组，说明免疫评分与免疫治疗反应密切相关。，相似地，预测的低骨膜素（POSTN）表达也与更好的免疫治疗反应显著相关：可以看出低POSTN表达组的OR比例明显高于高POSTN表达组，说明POSTN表达与免疫治疗反应密切相关。具体而言，我们发现，预测为高ImmunoScore组（55.0%和56.4%）或低POSTN组（50.6%和58.3%）的患者，其客观反应率（OR）高于预测为低ImmunoScore组（17.5%和10.5%）或高POSTN组（24.5%和13.6%）的患者。这个结果在整个免疫治疗队列中也得到了验证（p < 0.0001）

接下来，我们将预测的ImmunoScore和POSTN生物标志物整合到一个TME模型中。我们观察到不同TME类别之间的异质性客观反应率：

可以发现，图中预测TME类别1（高ImmunoScore和低POSTN表达）的患者组的OR比例明显高于其他TME类别，说明TME类别与免疫治疗反应密切相关。
具体而言，预测TME类别1（高ImmunoScore和低POSTN）：58.7%
预测TME类别2（高ImmunoScore和高POSTN）：48.9%
预测TME类别3（低ImmunoScore和低POSTN）：32.1%
预测TME类别4（低ImmunoScore和高POSTN）：12.6%
这些结果也在各免疫治疗队列中得到了确认（p < 0.0001）

同样地，Kaplan-Meier生存曲线验证了两种预测生物标志物（ImmunoScore或POSTN）以及预测TME模型的预后价值（p < 0.001），其中也是TME类别1（高ImmunoScore和低POSTN表达）的患者组的生存概率明显高于其他TME类别，说明TME类别与患者的预后密切相关。

我们接着比较了预测TME模型和PD-L1在预测免疫疗法反应方面的表现（PD-L1是一种常用的免疫检查点抑制剂生物标志物，这里作者比较“使用PD-L1单独预测免疫治疗反应”和“使用TME模型预测免疫治疗反应”两种方法的效果）。

ROC曲线显示了两种方法在不同队列中的预测性能。可以看出，TME模型的AUC明显高于PD-L1，说明TME模型在预测免疫治疗反应方面表现更好。具体而言：PD-L1表达的联合阳性评分（CPS）在预测免疫疗法反应方面的能力较为有限，在免疫治疗队列1和2中的AUC分别为0.645（95% CI：0.569–0.722）和0.662（95% CI：0.517–0.806）。然而，预测TME模型在免疫治疗队列中的AUC为0.735（95% CI：0.665–0.804）和0.697（95% CI：0.562–0.832），高于CPS。

重要的是，当将CPS与预测的TME模型结合成一个整合模型时，相比CPS，免疫疗法反应预测的准确性显著提高（AUC：0.782–0.828，p < 0.05）。

实验七：算法类实验；SOTA对比

为了全面评估我们提出的AER-SwinT模型，我们进行了额外的对比实验，涉及使用相同数据集的基于CNN的方法（Unet、VGG、ResNet、Inception和DenseNet）以及基于Transformer的方法（ViT和SwinUnet）。

图中，三列分别表示三个任务（一个主任务：化疗反应预测，两个子任务：免疫评分预测和POSTN预测）的AUC结果。

AER-SwinT在内部和外部数据集上始终优于基准模型（由于图太多，这里只展示其中一个，下同）。值得注意的是，基于Transformer的方法通常表现优于基于CNN的模型，突显了在数据中捕捉全局关系以增强分析能力的优势。

实验八：算法类实验；消融实验

[单任务vs多任务] 我们比较了仅用于化疗反应预测的单任务版本AER-SwinT与我们的多任务训练方法。图中显示，采用多任务训练策略相比单任务训练显著提高了性能，强调了结合临床相关子任务有助于更具区分性的特征提取。

[基于通道平均的注意力图模块（SENet）] 我们评估了AER-SwinT中引入的基于通道平均的注意力图模块的影响。图中显示，包含该模块的模型在所有任务中均表现出显著提升，表明该模块有助于增强重要特征的表示。

[多尺度特征融合] 我们评估了基于通道平均的注意力图模块（SENet），该模块通过残差聚合实现通道注意力。我们还在模型中评估了其他聚合方法，如Gatherexcite、GCT和AvgNet。结果表明，基于SENet的设计达到了最高的性能。

⭐ Discussion

段落一：本文工作意义总结

提出了AER-SwinT的多任务深度学习模型。该模型使用术前CT图像，同时预测化疗反应和肿瘤微环境（TME）特征（包括免疫评分和POSTN表达）。AER-SwinT采用了增强注意力的层次化特征和多任务学习，能够准确预测化疗反应和TME特征。
【化疗反应预测价值】：对于化疗敏感的患者，模型预测结果表明辅助化疗与生存率提高相关。对于化疗耐药的患者，模型预测结果表明辅助化疗无显著生存效益。
【TME预测价值】：模型考虑了TME生物标志物的临床相关性，显示了对预后的预测价值。免疫治疗预测：该模型能够区分哪些患者可能从抗PD-1免疫治疗中获益，哪些则可能不获益。

段落二：强调化疗反应预测任务

系统化疗被认为是局部晚期胃癌（GC）的标准治疗，但即使是具有相同临床特征的患者，治疗反应和临床结果也存在较大变异性。准确预测胃切除术后的化疗反应对于做出合理的辅助治疗决策至关重要。
（现有方法概述）：现有的研究尝试使用生物标志物（如基因签名和病理组学签名）预测化疗反应，但这些方法通常侵入性强、成本高且研究规模较小。
（作者的方法）：AER-SwinT该模型能够识别出可能从术后辅助化疗中受益的化疗敏感患者，以及那些从中获益较小的化疗耐药患者。
（临床意义）：通过使用AER-SwinT模型，医生可以优化个体化治疗决策，确保化疗敏感的患者接受更激进的治疗，而化疗耐药的患者则避免不必要的副作用

段落三：强调TME预测任务和免疫治疗反应预测任务

（免疫反应识别）免疫治疗在多种癌症中的成功突显了对有效抗肿瘤免疫反应机制的深入理解的重要性，并且需要识别个体患者是否能从免疫治疗中获益。
（TME与化疗反应关联）TME被认为是所有抗癌治疗的关键调节因子。治疗反应与TME的重塑相关，包括自然杀伤细胞的招募、巨噬细胞的变化以及T细胞的浸润增加。在治疗中评估TME有助于化疗决策，且将TME信息整合入预测模型能提高化疗反应的预测精度。
（TME与免疫反应关联）TME不仅能帮助预测患者预后，还能预测免疫治疗反应。该研究通过定义免疫评分和POSTN作为生物标志物，进一步揭示肿瘤间TME的异质性。
提出的深度学习模型能够非侵入性、经济、准确且动态地监测TME，提供了克服组织学方法成本高、耗时长且技术复杂性的可行替代方案。

段落四：解释为什么没有研究 围手术期 免疫反应预测

尽管免疫治疗已被推荐作为晚期胃癌（GC）的一级治疗选择，但其在围手术期的应用仍处于探索的早期阶段，相关数据仍然有限。因此，本研究仅探讨了所开发模型在晚期胃癌免疫治疗中的应用。术后辅助化疗和晚期胃癌的免疫治疗针对不同的疾病阶段，且它们是不同的治疗选择。因此，值得注意的是，本研究开发的基于CT的预测模型在化疗和免疫治疗方面的预测效果，分别使用了两个不同的队列：前者是接受术后辅助治疗的胃癌患者，后者是晚期胃癌患者。未来，随着更多数据的获得，我们将进一步探讨该模型在围手术期免疫治疗中的预测价值。

段落五：TME模型对于免疫治疗反应预测价值

考虑到TME生物标志物与免疫治疗之间的已建立关联，我们观察到所提出的深度学习模型具有改善免疫治疗反应预测的潜力（实验中反映的）。尽管像PD-L1这样的生物标志物被用于评估免疫治疗反应，但其灵敏度和特异性仍然不足，需要进一步改进。通过整合TME模型，免疫治疗反应的预测准确性可以得到提升，从而优化个体化的治疗决策，特别是在辅助化疗和免疫治疗方面。

段落六：算法层面动机

（多粒度特征提取）使用深度学习从医学影像中自动学习特征表示是精确诊断和治疗的未来发展趋势，传统的CNN和transformer模型在捕捉全局信息和细节方面存在局限。（基于CNN的方法固有地受到其有限感受野的限制，无法有效捕捉医学影像中的全面全局信息。虽然基于变换器的方法非常强大，但通常在有效提取多粒度细节方面存在困难，这对全面理解数据并实现准确分析至关重要。）

AER-SwinT是一种旨在通过术前CT图像预测化疗反应并评估肿瘤微环境（TME）的深度学习模型。我们的方法利用Swin变换器的层次化特征提取能力，使模型能够处理从细粒度到粗粒度的数据。这使得AER-SwinT能够捕捉到对准确临床预测至关重要的全局信息和细节信息。

（基于通道平均的注意力增强残差）此外，我们的方法在多个阶段采用基于通道平均的注意力图。这些注意力图动态地突出CT图像中的兴趣区域，使得模型能够通过逐点乘法和残差连接，专注于关键空间位置。这一机制确保了模型在每个阶段都强调重要特征，显著提高了其捕捉不同细节的能力，提升了整体性能。

与传统的CNN和变换器模型相比，我们的AER-SwinT将层次化特征提取与动态注意力机制结合。比较实验表明，AER-SwinT优于基于CNN的方法和其他基于变换器的架构，强调了捕捉全局上下文对有效特征表示的重要性。

（多任务学习）消融分析突出了多任务学习方法和通道注意力残差聚合的价值。通过将临床相关的免疫生物标志物（如免疫评分和POSTN表达）作为中间任务，我们的模型提高了化疗和免疫治疗结果的预测准确性。

总结：这一创新方法克服了现有方法的局限，提供了一个强大的框架用于综合临床分析，标志着医学影像和预测分析的重大进展。此外，基于通道平均的注意力图有效地利用数据中的全局关系，显著推动了性能的提升。这些发现表明，整合通道注意力机制有助于隔离和放大关键特征，使其成为基于transformer的医学影像分析中的宝贵组成部分。

段落七：可视化注意力图描述

此外，图展示了我们模型在每个阶段生成的注意力。在初始阶段，我们的模型主要关注CT图像中肿瘤的边缘信息（stage1 的注意力图观察边缘信息，且分辨率高）。随着模型的深入，它逐渐提取更粗粒度的信息，同时增加对肿瘤内部区域的关注。（而后的stage关注肿瘤内部区域，且分辨率低）这些示例表明，通过层次化特征提取和引导注意力机制，我们的方法使模型能够在不同的粒度下专注于肿瘤的不同区域。因此，这种方法使得患者图像数据的分析更加全面。

段落八：再次强调引入多任务的优势

化疗反应预测的主要任务中，我们采用了引入TME和常规临床特征的训练策略，这进一步提高了模型的性能，超越了传统的单任务深度学习模型或单尺度卷积神经网络。与传统的基于机器学习的放射组学模型和基于深度学习的单任务影像模型相比，所提出的多任务AER-SwinT模型优化了训练过程，实现了具有成本效益和准确性的预测。未来的研究应适当采用具有成本和时间优势的深度学习技术，并确保开发出符合临床需求的稳健模型。

段落九：CT图像异质性问题
尽管有一些方法被用来减少CT图像的异质性，但这些数据的异质性不应被忽视。未来，应采取几种策略来减少CT扫描仪异质性对模型性能的影响。首先，我们的目标是标准化不同中心的CT机器和参数，以减少影像数据的变异性。其次，我们计划开发并整合先进的标准化算法，在预处理过程中动态调整扫描仪特定的差异，确保在不同数据集之间提取一致的特征。第三，我们将利用数据增强技术，如添加来自不同扫描协议模拟的噪声和领域适应方法，以增强模型对来自不同扫描仪数据的适应性。这些努力将有助于最小化扫描仪引起的变异性，并提高模型在临床应用中的可靠性。

⭐ Limitations of the Study

首先，研究的主要局限性在于其回顾性特点。第二个局限性是数据仅来自东亚背景的患者，其他地区患者的病理亚型和临床特征分布可能不同，因此需要在其他多样化人群和不同族群的大型队列中进行验证。第三，CT图像来自不同机构的各种扫描仪，这可能增加数据的异质性。第四，本研究仅探讨了所开发模型在晚期胃癌免疫治疗中的应用，未来在围手术期免疫治疗的背景下仍需进一步研究。此外，性别作为一个人口学变量被包含在数据集中，但未进行性别特定的分析。我们认识到这是当前研究的一个局限性，未来需要进一步研究性别是否会影响研究结果。最后，研究中纳入的患者接受了数十年的治疗，而不是在随机试验设定下进行的。尽管治疗基于5-氟尿嘧啶，但治疗药物和周期并不统一，是否接受化疗的决策是由临床医生、患者或二者共同决定的。