人工智能在乳腺癌病理诊断中的应用价值
岳萌,刘月平.人工智能在乳腺癌病理诊断中的应用价值[J].临床与实验病理学杂志,2021,37(09):1081-1084.DOI:10.13315/j.cnki.cjcep.2021.09.012.
北大中文核心
生物标志物状态是乳腺癌诊断的重要内容
通过评估免疫组化 ER、PR、HER-2 和 Ki-67 表达水平确定患者治疗方案，但其在不同观察者之间存在显著差异，因此需要基于 ML 帮助病理医师进行乳腺癌常规免疫组化的指标评估。 免疫组化染色强度的自动定量是早期 ML 在乳腺癌数 字病理领域的应用。随着 AI 的发展，有研究者使用自动细胞图像系统来确定 HER-2 不同染色强度的乳腺癌细胞比例，发现与 FISH 和免疫组化主观评估的结果相比，算法与 FISH 检测 HER-2 状态之间的一致性更高。用核识别算 法量化免疫组化的 ER 和 PR 表达，发现主观判读和算法量化之间的一致性为 0.9。有学者使用公开的数字图像分析软件分析了 60 例乳腺癌免疫组化 HER-2 2+ 或 3+ 的病 例，结果显示算法的预测与病理医师按照共识评估结果完全一致。直接从 HE 切片上预测乳腺癌的生物标志物状态，是最近 AI 在乳腺病理领域研究的热点，可完全避免免疫组化染色对判读的影响。有研究建立了基于组织学特征和 DL 的模型来预测 ER 状态，在 571 张 HE 组织芯片图像上进行了训练，并在 288 张图像上进行测试，最终预测的准确度为 84%。Ki-67 与乳腺癌的进展密切相关。国际乳腺癌 Ki-67 工作组最新发布的 Ki-67 评估，推荐采用标准化的视觉评估方法判读 Ki-67。并通过使用一系列平台和软件评价 Ki-67 自动评估的可行性，结果显示同一品牌扫描仪的 8 个 软件平 台，平 均 自 动 评 分 ICC 为 0. 89 ( 95% CI = 0. 81 ～ 0. 96) ，达到预期的研究标准，与病理医师主观评分相似，ICC = 0. 87( 95% CI = 0. 81 ～ 0. 93)
A Deep Learning Based Holistic Diagnosis System for Immunohistochemistry Interpretation and Molecular Subtyping
A Deep Learning Based Holistic Diagnosis System for Immunohistochemistry Interpretation and Molecular Subtyping
Journal of Cancer Research and Clinical Oncology，投稿在审，中科院医学 3 区，SCI Q2
目的
不同分子亚型的乳腺癌，其分类依据为人类表皮生长因子受体2（HER2）、雌激素受体（ER）、孕激素受体（PR）和Ki67的过表达率，呈现出独特的症状特征并对不同治疗方式具有不同的敏感性。免疫组织化学法是检测肿瘤标志物最常见的方法之一，但在临床实践中严重依赖人工判断，且在解释稳定性与操作效率上存在固有限制。为此，我们开发了一种整体智能乳腺肿瘤诊断系统，用于肿瘤标志物组学分析，结合了自动解读与临床建议功能。
方法
全面智能乳腺肿瘤诊断系统包括两个主要模块。解释模块基于卷积神经网络构建，用于综合提取和分析免疫染色的多特征信息。参照临床分类标准，在子类型模块中将解释结果编码为低维特征表示，以高效输出关键肿瘤标志物组的综合检测结果及分子亚型的诊断建议。
结果
该诊断系统成功获得了HER2、ER、PR和Ki67的过表达率，以及对分子亚型的有效测定，平均灵敏度为97.6%，平均特异度为96.1%，其中，HER2解读的敏感性和特异性分别高达99.8%和96.9%。
Deep learning-based instance segmentation for the precise automated quantification of digital breast cancer immunohistochemistry images
Priego-Torres B M, Lobato-Delgado B, Atienza-Cuevas L, et al. Deep learning-based instance segmentation for the precise automated quantification of digital breast cancer immunohistochemistry images[J]. Expert Systems with Applications, 2022, 193: 116471.
中科院计算机科学一区，SCI Q1
摘要
在本研究工作中，我们展示了使用基于深度学习的实例分割架构对IHC染色切片中核和膜生物标志物进行自动定量的可能性。我们通过设计并实现一个网络平台解决了训练集生成这一繁琐任务，该平台充当了研究人员与病理学家之间沟通反馈的枢纽以及自动图像处理模型验证系统。借助此工具，我们收集了HE、ER和Ki-67（核生物标志物）以及HER2（膜生物标志物）IHC染色图像样本的注释。采用相同的深度学习网络架构，我们训练了两个模型，即所谓的 nuclei-aware 和 membrane-aware 分割模型，经过成功验证后，这些模型显示为一种有前景的方法，用于在IHC染色图像中分割细胞核实例。本文提出的量化方法已集成到开发的网络平台中，目前正被病理学家作为决策支持工具使用。
数据集
实验
使用 SOLOV2 和 Mask RCNN 对细胞和图像进行分割
核标志物指标
膜标志物指标
Immunohistochemical HER2 Recognition and Analysis of Breast Cancer Based on Deep Learning
Che Y, Ren F, Zhang X, et al. Immunohistochemical HER2 Recognition and Analysis of Breast Cancer Based on Deep Learning[J]. Diagnostics, 2023, 13(2): 263.
中科院医学三区，SCI Q2，2024 预警期刊
摘要
人表皮生长因子受体2（HER2）蛋白负责健康乳腺细胞的分裂与增殖。HER2蛋白的过表达通常通过免疫组织化学（IHC）进行评估。IHC评价标准主要包括三个指标：染色强度、环绕性膜染色模式以及阳性细胞的比例。手动对HER2 IHC图像进行评分是一项易出错、变异性大且耗时的工作。为解决这些问题，本研究提出了一种基于深度学习网络的HER2全片图像（WSI）自动化评分预测方法。该研究纳入了从2021年9月至2021年12月期间的95例HER2病理切片。平均patch级别精确度和f1得分分别为95.77%和83.09%。自动化评分对切片级别的整体准确率为97.9%。所提出的该方法对所有IHC 0和3+切片以及大部分1+和2+切片显示出极佳的特异性。综合方法的评估效果优于仅使用染色结果的评估效果。
本文方法
本文方法的三个阶段：首先，从原始WSI中提取带有相应标签的标记掩模。接着，获取肿瘤区域的图像块并且随机生成标签蒙版的正常和病变补丁，这些补丁被输入到深度学习模型（ResNet34）中以细化二元分类。在第二阶段，从测试WSI中提取组织蒙版。由组织蒙版生成的补丁被输入到模型中以构建概率图。然后，通过阈值从概率图生成二进制肿瘤预测。在第三阶段，测试WSI被细分为四个子类：IHC 0/1+/2+/3+。这部分工作是通过综合判断实现准确且可解释的结果。
Automated Molecular Subtyping of Breast Carcinoma Using Deep Learning Techniques
S. Niyas et al., "Automated Molecular Subtyping of Breast Carcinoma Using Deep Learning Techniques," in IEEE Journal of Translational Engineering in Health and Medicine, vol. 11, pp. 161-169, 2023, doi: 10.1109/JTEHM.2023.3241613.
中科院医学三区，SCI Q3
摘要
本文提出了一种改进的LadderNet架构，用于从ER、PR、HER2和Ki67生物标志物切片中分割免疫阳性元素。该架构采用长跳过连接，将不同语义级别的编码器特征空间传递到解码器层，使得能够同时学习多尺度特征。整个架构是由多个全卷积神经网络组成的集成，根据输入数据自适应选择学习路径。分割阶段之后是后处理阶段，通过量化免疫阳性元素的程度来预测每个生物标志物的最终状态。结果：我们对每个IHC生物标志物的分割模型性能进行了定性和定量评估，并进一步评估了生物标志物预测结果。我们的方法所获得的结果与病理学家的手动评估高度一致。临床影响：精确的自动化分子分型可以加快这一病理过程，减轻病理学家的工作负担和相关成本，并有助于针对性治疗以获取更好的疗效。
Applications of artificial intelligence in breast pathology
Liu Y, Han D, Parwani A V, et al. Applications of artificial intelligence in breast pathology[J]. Archives of pathology & laboratory medicine, 2023, 147(9): 1003-1013.
中科院医学三区，SCI Q1，综述文章
基于人工智能的乳腺癌生物标志物定量
雌激素受体和孕激素受体免疫组化（ER/PR）
ER/PR 表达由 IHC 测试，通常通过病理学家的手动评分进行评估，该评分具有观察者间/观察者内变异性。使用 AI 算法对 ER/PR IHC 进行计算评估为提高精度性能提供了机会。人工智能算法不仅与病理学家的手动评分表现出良好的相关性，而且比病理学家的评分具有更高的可重复性。此外，人工智能算法可以与数字病理学实验室信息系统相结合，以提供自动化工作流程。与手动评分一样，人工智能算法提供阳性染色肿瘤细胞的比例。此外，人工智能算法可以进一步将肿瘤细胞划分为不同的染色强度，然后通过将细胞核的百分比乘以相应的染色强度来计算 H 评分。使用自动化人工智能算法评估 ER/PR IHC 仍然存在挑战。假阳性结果可能是由肿瘤区域的良性腺体和浸润性癌中的DCIS成分混合引起的。假阴性结果可能是由 AI 算法未检测到的微弱 IHC 染色引起的。因此，病理学家的最终审查以确认人工智能算法的分析是必要的。
通过人工智能算法量化雌激素受体 （ER） 示例。左图（A、C 和 E）显示内质网免疫组化染色，右图（B、D 和 F）显示细胞分割和内质网定量假色（蓝色，阴性染色;红色，阳性染色）。浸润性癌由算法自动检测和概述。A 和 B，内质网，阳性染色<1%。C 和 D、ER，染色阳性 25%。E 和 F，内质网，90% 阳性染色（内质网免疫染色，原始放大倍数 ×10）。
HER2免疫组化
HER2是乳腺病理学中另一个重要的预后和治疗生物标志物。高达20%的乳腺癌存在HER2蛋白过表达/基因扩增现象。2018年ASCO/CAP指南建议，所有侵袭性乳腺癌均应通过HER2免疫组织化学(IHC)检测和/或原位杂交(ISH)确定HER2状态[74]。与ER/PR IHC相似，HER2 IHC通常由病理学家进行手动评分，这种方法往往表现出观察者间变异性[74-76]。根据指南，HER2 IHC依据HER2膜状染色强度以及带有膜状染色的肿瘤细胞百分比，被分类为阴性（0和1+）、不确定（2+）和阳性（3+）。研究已经证明，AI算法能提供与手动评分同样准确、但更客观且可重复的评估结果[44-48,77]。在HER2 IHC AI算法中采用了不同的方法。一些AI算法对肿瘤细胞进行分割，将每个细胞归类到不同的染色类别，然后计算得出最终得分。其他AI算法则通过评估HER2染色膜的连续性来决定HER2 IHC得分[44]（图4）。研究已利用此类AI算法精确地确定HER2 IHC得分，并区分HER2+和HER2-病例[44,78-80]。大多数AI算法与全片扫描图像（WSIs）或感兴趣区域图像（ROI）相结合，用于评估HER2 IHC。通过在常规显微镜上配备HER2评分AI算法和增强现实模块，已经开发出了一种AI辅助显微镜。这种AI辅助显微镜使得病理学家能够实时获取每个视野的HER2 IHC结果，从而提高病理学家评分的一致性和准确性[81]。随着对乳腺癌中HER2科学理解的不断发展，可能有必要进一步将HER2阴性乳腺癌细分为HER2 IHC 0和HER2低表达（HER2 IHC 1+和HER2 IHC 2+/ISH阴性）类别[82-84]。有观点认为，AI可能在这些类别的分类中发挥重要作用。最后，ASCO/CAP指南已承认AI算法作为评估HER2 IHC的诊断手段，而CAP也已经发布了指南，以促进AI算法在临床实践中的应用[74,85]。
人表皮生长因子受体2（HER2）免疫组化（IHC）和人工智能（AI）算法的连通性分析。A 和 B，1 例 HER2 IHC 0。C 和 D，一例 HER2 IHC 1+。E 和 F，一例 HER2 IHC 2+。G 和 H，一例 HER2 IHC 3+。HER2 IHC（A、C、E 和 G）;通过 AI 算法（B、D、F 和 H）检测的 HER2 连接（绿色线）（HER2 的免疫染色，原始放大倍数 ×5 [A 和 B] 和 ×10 [C 到 G]）。
Ki-67免疫组化
Ki-67 是细胞增殖的替代标志物，在 G0 期以外的所有细胞周期阶段均有表达。94–97 研究发现，Ki-67 的表达与乳腺肿瘤分级和生物学行为有关，高表达往往预示着较差的预后。97–100 最近获批用于早期 ER+、HER2- 乳腺癌（复发风险高且 Ki-67 得分为 20% 或以上）的药物是 CDK4/6 抑制剂。101,102 Ki-67 免疫组化 MIB-1 pharmDx 检测试剂盒也被批准作为该适应症的伴随诊断测试。
Ki-67 的表达通过免疫组化进行评估，并以被 Ki-67 抗体染色的肿瘤细胞百分比进行评分。评估 Ki-67 免疫组化的多种方法包括视觉估测、手动计数感兴趣区域以及手动全面计数整个切片。其中，视觉估测具有显著的观察者间变异性。96,97,103 同样地，在选择 ROIs 进行计数时也存在观察者间变异性。104,105 手动全面计数整个切片可以提高可重复性，但在临床日常实践中这种方法非常耗时且不切实际。106
人工智能算法驱动的自动化评分方法在评估Ki-67免疫组化方面展现出一定的潜力。[37,107–113]这些AI算法能自动识别基于形状和大小的肿瘤细胞核，根据颜色确定阳性染色的肿瘤细胞核，并计算阳性率。然而，自动化AI算法存在一些问题。首先，AI算法可能混淆肿瘤细胞与周围间质细胞、炎性细胞或假象。其次，AI算法可能会错误分类病变，例如将原位成分误归为侵袭性癌进行分析。因此，可能需要病理学家干预或广泛的监督学习来进行复杂的细胞分割和分类。 最近，已经开发出新的 AI 算法，可以使用双重 IHC（Ki-67 加细胞角蛋白染色剂来标记肿瘤细胞）或连续 IHC 染色，然后进行虚拟图像重建来更准确地对 Ki-67 进行评分。 114 然而，AI 算法能够分析整个图像的效率更高，这可能比依靠 ROI 获得更高的准确性。115
乳腺癌Ki-67人工智能自动诊断系统的真实世界应用测试
邓杨,李凤玲,秦航宇等.乳腺癌Ki-67人工智能自动诊断系统的真实世界应用测试[J].四川大学学报(医学版),2021,52(04):693-697.
北大中文核心
目的
研究人工智能（AI）用于辅助临床乳腺浸润性导管癌（IDC）Ki-67评分的不同方法并比较其结果。
方法
收集100例真实临床IDC诊断病例，包括HE、免疫组化Ki-67染色的切片和诊断结果。将病理切片扫描成全片数字化图像（whole slide image, WSI），并使用AI对其进行评分。AI评分方式分为两种，一种为AI纯自动计数，使用Ki-67自动诊断的评分系统对WSI进行全片计数；第二种是AI半自动计数，需要人工选择区域计数，然后用智能显微镜进行自动计数。病理医生的诊断结果作为纯人工计数的结果。将全人工（病理诊断结果）、AI半自动、AI全自动此3种计数所得的Ki-67分数进行两两比较，分别按差异高低进行归类，差异高低分为3档：相差≤10%、相差>10%～<30%和相差≥30%，并且使用组内相关系数 （intra-class correlation coefficient, ICC）对其进行相关性的评价。
结果
全自动AI计数1例Ki-67的时间为5～8 min，而半自动AI方法为2～3 min，全人工计数则需要1～3 min。两种AI计数方法相比较，Ki-67分数的相差全部在10%以内（占比100%），ICC指数高达0.992。全人工计数和AI半自动相比，相差≤10%的有60例（占比60%），相差>10%～<30%的例数为37例（占比37%），而≥30%的只有3例（占比3%），ICC指数为0.724；全人工计数和AI全自动相比，相差≤10%的有78例（占78%），相差>10%～<30%的例数为17例（占比17%），而≥30%的有5例（占比5%），ICC指数为0.720。ICC数值示，两种AI方法之间差异不大、可重复性很好，AI和人工计数之间的可重复性可接受。
结论
AI全自动方法的优势在于更节省人力，病理医生只需在最后核对诊断结果。而半自动的方法更符合临床病理医生的诊断习惯，整体耗时较AI全自动方法少。此外，AI方法虽然可重复性较高，但不能完全取代病理医生，而应作为有力的辅助工具看待。
融合空间和多尺度特征的乳腺癌免疫组化Ki-67指数定量分析
熊学春,吴焕文,任菲等.融合空间和多尺度特征的乳腺癌免疫组化Ki-67指数定量分析[J].协和医学杂志,2022,13(04):581-589.
CSCD 核心库
数据集
乳腺癌Ki-67指数免疫组化病理图像标注示例。乳腺癌Ki-67指数免疫组化病理图像标注示例
研究框架
提取热点区域掩码与图块
按7∶1∶2的比例将A数据集随机分为训练集、验证集和测试集。采用ASAP(Automated Slide Analysis Platform)软件对热点区域进行标注，然后提取热点区域掩码图像。用组织区域图像减去热点区域即可获取正常区域掩码图像。在2种图像内部，将原始WSI图像于40倍视野下随机裁剪为2000个 512×512像素的图块(patch)。在2种图像内部，将原始WSI图像于40倍视野下随机裁剪为2000个 512×512像素的图块(patch)。在上述图块中随机选取50个，对其中的Ki- 67阳性肿瘤细胞、阴性肿瘤细胞和非肿瘤细胞进行标注(Ki- 67指数的计算仅包括肿瘤细胞，若不排除非肿瘤细胞，Ki- 67指数将偏低),见图3。标注后，计算Ki- 67指数
A.热点区域内随机选取的图块；B.标注结果，其中实心圆为Ki- 67阳性肿瘤细胞，实心矩形为Ki- 67阴性肿瘤细胞，“X”为非肿瘤细胞
模型构建
一种乳腺癌免疫组化人工智能判读方法
发明专利：CN113011257A
湖南省肿瘤医院，2021-06-22
数字化软件分析ER、PR、HER-2、Ki-67在乳腺癌中的辅助诊断应用研究
南昌大学硕士学位论文
通过研究数字化软件分析(DSA)、视觉评估(VA)、手动精确计数(MAC)三种方法判读ER、PR、HER-2、Ki-67免疫组化切片的差异性,探索数字化软件分析是否可以辅助病理医生对乳腺癌作出准确的诊断,以便为患者提供更合适的治疗方案。
相关新闻
腾讯AI Lab宣布中国首款智能显微镜获药监局批准进入临床应用：https://ai.tencent.com/ailab/zh/news/detial/?id=55
2022中国智慧数字病理行业发展白皮书发布：https://www.chima.org.cn/Html/News/Articles/15961.html
Jou Ima | AI病理挑战赛：通过HE切片图像预测乳腺癌HER2状态：https://zhuanlan.zhihu.com/p/578486893
乳腺癌免疫组化“背后的故事”：https://mp.weixin.qq.com/s/EIx9vUgmmQVN8rgNQSFx6w
