2024, Vol. 22
表1(Table 1)
皮肤病是人类普遍存在的疾病之一，据《中国社区医师》统计，我国每年约1.5亿人患有皮肤病，且患者数量呈逐年上升趋势。恶性皮肤病变，如黑色素瘤，由于恶化速度较快，致死率极高，但研究表明，如果黑色素瘤能在早期被筛选发现，几乎可以被完全治愈。因此，高效及时地筛查恶性皮肤病具有重要的医疗价值。
过去十年，由于神经网络的快速发展，深度学习在医学影像分析中获得了显著进展，卷积神经网络(Convolutional neural network, CNN)因计算高效、结果准确等特点被应用于皮肤病的分类筛查，皮肤病智能诊断被广泛研究。因为很难选择显著的特征，用提取出的特征来描述皮肤病变是一个具有挑战性的研究领域[1]。针对以上问题，许多学者提出了解决方法。例如，文献[2]应用超连接CNN，利用超分支增加CNN对重点特征的关注，文献[3]在全卷积CNN中加入一个编码器和一个解码器，分别用来学习皮肤病变的普遍特征和复杂特征。然而，文献[2]和[3]过于关注复杂特征的提取，对普遍特征的提取能力较低。文献[4]设计了一种带有皮肤病变定位模块的局部学习分支，辅助神经网络从特定的区域学习病变特征，虽然兼顾了复杂特征和普遍特征，但是由于使用的CNN结构简单限制了模型的特征提取能力。为了综合各类CNN的优势，文献[5]利用一个加权集成机制将ResNet、Xception和DenseNet三种CNN融合，最终得到的集成CNN取得了85.8%的准确度，高于三种子网络，但是过于复杂的CNN极大地增加计算成本。为了降低计算成本，Moura等[6]提出了使用CNN的特征和ABCD规则组合形成的描述对皮肤病变进行分类，最终的诊断准确度超过了80%。以上研究表明，无论是对最常见皮肤病的识别，还是对最致命皮肤癌的识别，CNN都能达到近似皮肤病专家的水平。
CNN需要大量样本参与训练，否则会影响模型的灵敏度和准确性。为了克服训练样本不足的问题，文献[7]设计了一种累积训练策略并引入多权重加权损失，文献[8]则使用了两种预先训练过的网络架构，利用高斯滤波器计算每个可用图像的响应作为CNN的额外输入，增加CNN中每个条目的价值，虽然文献[7]和[8]都获得了较高的准确度，但是都极大地增加了计算成本。而迁移学习可以利用已有知识来学习新知识以减少学习成本，文献[9]和[10]利用迁移学习、模型微调、元学习等方法对CNN进行预训练，再应用于皮肤镜图片数据集，虽然获得了较高的准确度，但是迁移学习需要找到足够相关的源任务和目标任务，否则会出现负迁移现象。因此，传统的图像增强技术也被广泛运用，文献[11]结合完整图像信息与数据库中分割后被裁剪过的图像信息训练CNN，最终得到的曲线下面积(Area under curve, AUC)为0.843，精度为64.9%。上述方法通过对数据集自身进行处理，在一定程度上提高了皮肤病诊断的准确度，但是单一机构的数据集具有特异性，用其它数据集对单一机构训练的网络模型进行测试时往往效果不佳，这时就需要集合各个机构的数据进行训练，提高模型的准确度。文献[12]集合多个公共皮肤病数据集、多个机构的非图像数据集，并使用各种相机、皮肤镜的组合扩充图像数据，虽然模型的准确度有所提升，但是大规模聚合多平台数据也会引起隐私泄露的问题。对于中小型医疗机构，由于本地训练数据集有限，得到的模型往往准确度不高，难以辅助皮肤病医生或对患者进行诊断；对于大型医疗机构，虽然有能力聚集分散的数据集，但集中式训练不可避免地会带来隐私泄露的威胁。随着各方对数据所有权和隐私性的关注越来越多，用户隐私和安全管理日趋严格，皮肤病智能诊断平台难以获得赖以生存的数据集。在这样的需求下，一种满足隐私保护要求的皮肤病智能诊断方法亟待研究。
为解决这一问题，本文引入联邦学习。联邦学习是一种分布式机器学习技术，一方面，它将分散的数据进行整合，满足了人工智能项目融合多领域数据的需求；另一方面，它不暴露原始数据，满足了参与方在共建模型时对隐私保护和数据安全的需求。本文对基于联邦深度学习的皮肤病智能诊断进行深入研究，将深度学习模型应用于皮肤病的诊断筛查，同时利用联邦学习整合分散的数据用于训练CNN，在充分保护患者隐私的前提下提高皮肤病诊断的准确度。
当前，有一个流行的联邦学习算法是FedAvg。即中心服务器将全局模型分发给客户端，并随机选取若干个客户端参与模型聚合，被选中的客户端利用本地数据对中心服务器下发的模型进行更新，并回传给中心服务器，中心服务器再将收集到的本地模型以加权平均的方式进行聚合，得到新的全局模型。FedAvg算法已经被应用于智慧医疗领域，例如，文献[13]在FedAvg算法的基础上提出了一个协作医疗框架，每个设备使用心电图数据集训练CNN，并在中心服务器上建立一个心律失常检测模型；文献[14]提出的FedHealth框架使用多个可穿戴物联网设备聚合来自不同医院组织的数据，以构建强大的人工智能模型。
在理想情况下，联邦学习中不同客户端的数据是独立同分布的，本地模型训练较多轮次会加快全局模型的收敛。但如果客户端利用非独立同分布的本地数据进行训练并且训练轮数较大时，本地模型将会严重偏离初始的全局模型。因此在训练联邦学习模型时要重视异构数据的影响，即增加对异构数据的关注度。联邦学习中不同参与者数据分布的异构性会降低联邦深度学习性能[15-16]，目前，解决联邦学习中数据异构性的方法主要有两种，一种是在客户端设计更新策略，FedProx[17]直接通过2范式距离限制本地模型的更新，SCAFFOLD[18]通过方差缩减来修正本地更新，但是实验结果表明相较于FedAvg，FedProx和SCAFFOLD对模型性能的提升较小。还有一种是在中心服务器设计聚合策略，文献[19]提出了一种随机协调机制，服务器在每一轮中协调随机选择的客户端进行合作，同时在每轮中为每个客户端提出一个动态正则化器，使全局解和本地解在极限下对齐，该方法在设计的异构数据集上得到了良好的性能，但是对于大量未知数据鲁棒性较差；文献[20]提出了一个简单的方法，即在中心服务器设置重要性参数，在每轮通信中对重要性重新加权，以此控制客户端对全局模型的影响，最后的实验结果显示该方法虽然鲁棒性较好，但是减少数据异构性对模型影响的能力一般。
针对上述问题，本文提出了一种基于联邦深度学习的皮肤病智能诊断算法，不同于现存方法通过约束特征差异来限制本地模型的更新，如FedProx算法，本算法在交叉熵损失的基础上增加了损失修正项，利用Kullback-Leibler(KL)散度计算神经网络输出的预测概率间的距离，以此限制本地模型和全局模型间的差异，修正本地模型的更新方向，增加模型对异构数据的关注度，在解决数据异构性问题的同时平衡了本地模型和全局模型的更新。实验结果表明，本算法克服了敏感医疗数据由于隐私保护的目的而导致的数据孤岛问题，降低了数据异构性的影响，提高了整体皮肤病识别的准确率，高于主流方案3%~4%，达到75.9%。
1 系统模型在本节中，本文构建了一个基于联邦深度学习的皮肤病智能诊断模型，该模型由三个部分组成：用户层、模型训练层与数据层。本文模型的三个组成部分如图 1所示，该模型将联邦学习引入皮肤病智能诊断研究，假设在皮肤病智能诊断的场景中，有多个客户端(医疗机构)作为参与方共同训练智能诊断模型，且各个医疗机构的本地数据集分布不同。所有医疗机构共同信任一个中心服务器，客户端将本地模型参数传给中心服务器，中心服务器聚合客户端的参数得到一个全局模型，使得该模型受益于所有医疗机构的全部数据，并且性能优于其他所有本地模型。
|
图 1 基于联邦深度学习的皮肤病智能诊断模型 Figure 1 Federated deep learning based model for intelligent diagnosis of skin lesion |
如图 1所示，本节考虑一个联邦学习框架下的皮肤病智能诊断模型，由一个中心服务器和N个客户端构成，包括用户层、模型训练层和数据层。用户通过采集设备收集病变图片，将数据上传到模型训练层对应的客户端，并从客户端下载诊断结果，获取诊断服务；模型训练层通过聚合所有客户端和中心服务器的协作训练，得到最终的诊断模型，并对采集到的皮肤图像进行处理，根据训练好的模型将诊断结果发送给用户；数据层提供用于训练的数据集，同时从模型训练层下载用户采集的数据，标注样本以扩充样本集。
1) 用户层：该层由若干个用户终端组成，如智能手机、个人电脑和笔记本电脑。本文考虑两类用户，包括普通患者和皮肤科医生。具体来说，一般患者可以通过移动设备(如手机) 拍摄皮肤病变照片上传至模型训练层获得诊断结果，受移动设备拍摄的光照、角度与清晰度等因素影响，诊断结果的精确度会因此受到影响，但是可以作为初步筛查的参考；同样，皮肤科医生可以上传医院皮肤科专业采集设备获得的皮肤镜图像并获得诊断结果，这将为皮肤科医生提供诊断帮助，为患者做出更准确的诊断。
2) 模型训练层：该层由多个客户端和一个中心服务器组成，有两个主要功能：①训练诊断模型：中心服务器向客户端发送初始模型，客户端分别利用本地数据集对收到的初始模型进行训练得到本地模型，中心服务器随机挑选部分客户端上传本地模型，并对所有本地模型进行聚合得到全局模型，再将全局模型发送给各客户端用于下一轮的更新。②提供诊断服务：当客户端收到用户的诊断请求后，对采集到的病变图像进行处理，输入训练好的模型得到诊断结果，并将结果发送给用户。同时，当客户端完成诊断服务时，它将存储带有标记结果的图像以便于丰富训练数据集。
3) 数据层：该层包括所有客户端在本地训练模型时使用的数据集，每个数据集由三部分组成：ISIC提供的开源数据；各客户端本地存储的由专业皮肤镜采集人员采集、皮肤科医生进行标注的数据；皮肤科医生提取采集人员提供的数据并提供诊断结果，为样本数据进行标注作为训练样本。同时皮肤科医生也会对从所属客户端随机下载采集的数据以及对应的诊断结果进行分析，并根据分析结果评估模型的优势与不足，对模型的网络结构与网络参数进行调整，优化模型训练并更新参数。
2 基于联邦深度学习的皮肤病智能诊断算法在本节中，主要阐述基于联邦深度学习的皮肤病智诊断算法的原理与设计。为在保护患者隐私的同时克服数据孤岛问题，提升诊断准确度，本文在传统的基于深度学习的皮肤病诊断模型中引入联邦学习。对比主流的深度学习方法，本文在不聚合数据的情况下实现了多方协同训练机器学习模型，充分保护了患者隐私。此外，为了解决不同参与方上数据分布异构性的问题，本文在损失函数上增加了修正项，通过限制本地模型和全局模型间的差异来监督本地模型的训练，在解决异构性问题的同时平衡了本地模型和全局模型的更新，可以解决联邦学习过程中模型更新漂移导致整体准确度较低的问题。
2.1 联邦深度学习算法框架本文设计的皮肤病智能诊断算法基于深度学习模型。与传统的深度学习皮肤病诊断模型相比，本文模型应用联邦学习框架，通过分布式训练实现多方共同训练机器学习模型，因此在不暴露信息的同时具有更高的准确率。它的框架如图 2，各客户端先从中心服务器下载最新模型，然后客户端利用本地数据训练模型，并上传给中心服务器，中心服务器聚合本地模型后更新模型参数，再将更新后的模型返回给各客户端，重复训练后得到最终模型。
|
图 2 联邦学习框架图 Figure 2 Framework of federated learning |
本文在本地模型上传更新的参数之前执行多次本地梯度下降迭代，来限制通信频率，应对联邦学习通信速率不稳定和中心服务器容量有限的问题。除此之外，在每次迭代时只随机选择若干个客户端进行采样，并对这些客户端的参数更新进行平均以形成全局更新，同时用当前全局模型替换未采样的客户端，本文具体的算法步骤如下(t为迭代轮次)：
1) 在每次迭代中对随机选择的客户端子集St进行统一抽样，并下发当前全局模型参数mt。
2) 非抽样子集中的客户端根据mt，通过SGD更新本地模型。
3) 抽样子集中每个客户端上传更新后的本地参数mt+1。
4) 在迭代步骤t+1，服务器端根据接收到的本地模型参数mit+1计算出加权平均值mt+1，mt+1即为t+1轮的全局模型，计算公式为
| mt+1=∑i∈Stninmt+1i+∑i∉Stninmt | (1) |
其中，ni为客户端i上的样本数量，n为所有被选中的客户端的总样本数量。
2.2 损失函数在训练过程中，数据的异构性问题会影响交叉熵损失(Cross entropy, CE)，容易导致模型更新漂移致使整体准确度较低。为解决该问题，本文采用的损失函数在交叉熵损失的基础上加上修正项，修正项通过约束本地模型和全局模型的差异来修正本地模型的训练方向。
如图 3所示，客户端i在进行第t次本地更新训练时，中心服务器将全局模型mt发送给客户端，客户端在本地训练中将本地模型更新为mil，并将训练数据(Xt, Yt)分别输入从中心服务器接收的全局模型mt和当前的本地模型mil，得到两个预测概率Pg(Xt, mt)和Pl(Xt, mil)，它们可以反映全局模型和本地模型间的差异。本文计算了两者间的KL散度作为损失修正项记为
| DKL(Pg(Xt,mt)‖ | (2) |
|
图 3 本地模型训练损失函数 Figure 3 Loss function of local model training |
以此约束全局模型和本地模型间的距离，防止本地模型在更新的过程中偏离全局模型，而全局模型的更新取决于所有更新后的本地模型参数。总的来说，本地模型更新的损失由两部分组成，第一部分是监督学习中的交叉熵损失，记为lsup，第二部分是本文提出的损失修正项，记为lcor，交叉熵用于分类训练，KL修正项用于衡量全局模型得到的预测概率和本地模型得到的预测概率之间的差异。
1) 交叉熵损失：为方便起见，本文定义pit为样本属于类i的概率。交叉熵损失记为
| l_{\text {sup }}=C E\left(p_i^t\right)=-log \left(p_i^t\right) | (3) |
2) 修正项：本文lcor的定义如下：
| l_{\text {cor }}=D_{K L}\left(P_g\left(X^t, m^t\right) \| P_l\left(X^t, m_i^l\right)\right) | (4) |
首先对全局模型得到的预测概率Pg(Xt, mt)和本地模型得到的预测概率Pl(Xt, mil)计算KL散度，计算结果即为修正项lcor。因此，本文的损失计算公式如下：
| l=l_{\text {sup }}+\mu l_{\text {cor }} | (5) |
其中，μ是超参数，用于限制修正项，在第一轮训练时由于不存在本地模型所以μ=0，其余情况μ=1。
为了更好地表述上述过程，在此将其总结为算法1的形式。
本算法中，每一次通信所有客户端的本地模型都将被全局模型取代，只有当某一客户端被选中参加新一轮的聚合时才会进行本地模型更新。且本算法只需要客户端保留最新的本地模型(无论该模型是上一轮的全局模型还是由本地更新获得)，在被选中的客户端进行本地更新的过程中加入损失修正项，即计算本地模型和全局模型间的差异。在一个理想情况下，本地模型与全局模型得到相同的输出，此时损失修正项是一个常数，本算法等同于FedAvg。
| 算法1 基于联邦深度学习的皮肤病智能诊断算法 |
| Input: number of communication rounds T, number of parties N, number of local epochs E, learning rate η, hyper-parameter μ. |
| Output: The final model mT. |
| ① Server executes: |
| ② initialize m0; |
| ③ for t=0, 1, 2, ..., T-1 do |
| ④ for i=0, 1, 2, ..., N-1 in parallel do |
| ⑤ send the global model mt to Pi; |
| ⑥ mit← LocalTraining(i, mt); |
| ⑦ end |
| ⑧ |
| ⑨ end |
| ⑩ return mT. |
| ⑪ LocalTraining(i, mt) |
| ⑫ mil←mt; |
| ⑬ for epochi=0, 1, 2, ..., E do |
| ⑭ for each batch b={x, y} do |
| ⑮ lsup←CrossEntropyLoss(Pl, mil); |
| ⑯ lcor=DKL(Pg(Xt, mt)||Pl(Xt, mil)); |
| ⑰ l=lsup+μlcor; |
| ⑱ mil←mil-η▽l; |
| ⑲ end |
| ⑳ end |
| ㉑ return mil to server. |
本节使用的样本集为红绿蓝颜色系统(Red green blue, RGB)三通道皮肤镜图像，样本集分为训练集、测试集和验证集，由ISIC开源的皮肤病样本集与医疗机构中专业的皮肤镜采集人员采集并由皮肤科医生进行标注的样本构成。本文共使用25 331张皮肤镜病变图片，主要包含的病变类型为黑色素瘤、黑色素细胞痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤和血管病变，划分80%作为训练集，10%为测试集，10%为验证集。
3.2 实验设置本节将所提算法与集中式训练以及非联邦的本地训练进行了比较，除此之外，针对联邦学习的性能，将本算法与两种现有方法进行比较，FedAvg和FedProx。对于网络架构，本节使用ResNet50架构作为编码器，并使用PyTorch实现所有算法。对所有方法使用的学习率为0.01的SGD优化器，SGD权重衰减系数为0.000 01，批处理大小为64，非联邦的本地训练轮次为200。对于所有的联邦学习方法，客户端的数量为10，中心服务器与客户端的通信次数为100。
本节使用狄利克雷分布来生成各客户端之间的非独立同分布数据。先对数据集进行狄利克雷采样得到N类数据pk~DirN(α), 再将种类k的部分数据分配给客户端j，记为pkj，其中DirN(α)是浓度参数为α的狄利克雷分布。使用上述划分策略，每个客户端都会对某些类有相对较少(甚至没有)的数据样本。实验设置的客户端数量为10，客户端之间的数据分情况如图 4所示。
|
图 4 客户端数据分布图 Figure 4 Data distribution of clients |
对于本算法，本文分别对μ={0.1, 1, 5, 10}进行测试，得到本算法对于皮肤病数据集的最佳取值为μ =1。FedProx也有一个超参数μ来控制近端项权重(即lFedProx=lFedAvg+μlprox)，对于FedProx，本节分别对μ={0.001, 0.01, 0.1, 1}进行测试，得到FedProx对于皮肤病数据集的最佳取值为μ=0.01。本节所有实验都将使用以上的μ设置。
考虑到数据集的不平衡性，准确度不能很好地评价模型的性能，而平衡准确度(Balanced accuracy, BACC)可以解决这个问题。因此，本节使用BACC作为主要评估指标。它等价于以下公式：
| B A C C=\frac{1}{C} \sum\limits_{i=1}^C \frac{T P_i}{T P_i+F N_i} | (6) |
其中TPi, FNi和C分别指真阳性、假阴性和类别数。
除此之外，本文使用灵敏度(Sensitivity, SE)和黑色素瘤的精确度(Precision, PR)作为评价指标。灵敏度和精确度表示如下：
| S E=\frac{1}{C} \sum\limits_{i=1}^c \frac{(T P)_i}{(T P)_i+(F N)_i} | (7) |
| Precision =\frac{T P}{T P+F P} | (8) |
表 1展示了不同方法在默认设置下的分类准确度、灵敏度及黑色素瘤的精度。在数据非独立同分布的情况下(α=0.5)，本算法获得了75.9%的准确度，而集中式学习方法达到了77.2%的准确度，比联邦学习方法高1.3%，灵敏度和精度也略高于联邦学习方法，但是在实际应用场景中集中式学习存在隐私泄漏的风险。而单纯本地训练由于训练数据不足只取得了56.2%的准确度，它的性能远不及联邦学习方法。这是由于本地训练的数据有限难以满足神经网络的需求，导致训练得到的模型性能极低，而联邦学习利用中心服务器的聚合操作，使得所有本地模型可以受益于全局信息，显著提升了模型的性能。
|
表 1 分类性能比较结果 Table 1 Comparison results of classification performance |
图 5比较了不同的联邦学习方法在数据异构程度不同情况下的准确度，已知分布参数α越小数据越接近集中式分布。首先可以观察到，随着数据异构程度的增加，三种方法的准确度都有不同程度地下降，其中FedAvg算法下降的速度最快，这说明数据异构对联邦学习性能的影响不可忽视。而本算法在α={0.1, 0.5, 1}三种情况下的皮肤病分类任务中得到了最高的准确度、灵敏度、精度。在α=0.5时，它准确率比FedAvg高出3.8%，FedProx的准确性和灵敏度略高于FedAvg，而精度较低，但是在数据异构程度较高时FedProx明显优于FedAvg。这是由于在数据异构的情况下，本算法和FedProx算法利用损失修正项限制了本地模型的更新方向，所以最终得到的模型性能均高于FedAvg。而且实验结果表明，本文提出的利用KL散度作为修正项限制预测概率差异的方法要优于FedProx利用2范式距离作为修正项限制特征差异的方法，它减小数据异构影响的效果更佳。
|
图 5 不同异构程度准确度对比图 Figure 5 Accuracy with different α |
图 6(a)、图 6(b)和图 6(c)分别显示了在α=0.1、α=0.5和α=1时三种联邦学习方法在每一通信轮次的准确度。可以看到本算法对收敛速度的影响不大，其准确度提升速度几乎与FedAvg的提升速度相同，但本算法可以获得更好的准确度。这是由于本算法的修正损失项可以增加模型对异构数据的关注度，使模型在每轮通信中获得更多的信息。实验结果表明，本算法可以在不降低收敛速度的情况下有效地提高分类准确度。
|
图 6 通信轮次不同情况下的准确度对比图 Figure 6 Accuracy under different communication rounds |
图 7说明了本地训练轮次(Epoch)对最终模型准确度的影响。可以观察到，本算法在epoch=10时效果最优，其余两种方法在epoch=5效果最优。除此之外，本文考虑两种极端情况，当epoch=1时，本地更新非常小，因此在相同的通信轮次的条件下，训练速度较慢，准确性相对较低，此时所有方法的准确度都很相近；当本地训练次数过多时，所有方法的准确度都会下降，这是本地更新的漂移使得本地最优与全局最优不一致导致的。在以上两种情况下，本算法的表现均优于另外两种联邦方法，这是由于本算法利用KL散度计算出的预测概率间的距离限制了本地模型和全局模型间的差异。在客户端利用本地数据进行20次的模型更新时，本地模型也不会偏离全局模型，即使在客户端进行40次本地更新的极端情况下，本算法得到的准确度也超过了FedAvg的最高准确度，逼近FedProx的最高准确度，这表明本算法受本地训练的影响更小。
|
图 7 Epoch不同情况下的准确度对比图(α =0.5) Figure 7 Accuracy under different epochs (α =0.5) |
本文提出了一种基于联邦深度学习的皮肤病智诊断算法。具体而言，在传统的基于深度学习的皮肤病诊断模型中引入联邦学习，在克服数据孤岛问题的同时提升诊断准确度。此外，在交叉熵损失的基础上增加了损失修正项，平衡了本地模型和全局模型的更新，有效地解决了客户端数据异构的问题。最后，仿真结果表明本文算法可以使得本地模型在满足隐私保护的前提下获得更好的性能，同时在客户端数据异构的情况下显着提高模型的诊断准确度，减小数据异构的影响。
| [1] |
OLIVEIRA R B, PEREIRA A S, TAVARES J M R S. Computational diagnosis of skin lesions from dermoscopic images using combined features[J]. Neural Computing and Applications, 2019, 31(10): 6091-6111. DOI:10.1007/s00521-018-3439-8 (  1) |
| [2] |
BI L, FENG D D, FULHAM M, et al. Multi-label classification of multi-modality skin lesion via hyper-connected convolutional neural network[J]. Pattern Recognition, 2020, 107: 107502-107516. DOI:10.1016/j.patcog.2020.107502 ( 2) |
| [3] |
ADEKANMI A, VIRIRI S. FCN-Based DenseNet framework for automated detection and classification of skin lesions in dermoscopy images[J]. IEEE Access, 2020, 8: 150377-150396. DOI:10.1109/ACCESS.2020.3016651 ( 2) |
| [4] |
WANG Xiaohong, HUANG Weimin, LU Zhongkang, et al. Multi-level attentive skin lesion learning for melanoma classification[A]. Proceedings of the 43th annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)[C]. 2021: 3924-3927. DOI: 10.1109/EMBC46164.2021.9629858.
( 1) |
| [5] |
RAHMAN Z, AMI A M. A transfer learning based approach for skin lesion classification from imbalanced data[A]. Proceedings of the 11th International Conference on Electrical and Computer Engineering (ICECE)[C]. 2020: 65-68. DOI: 10.1109/ICECE51571.2020.9393155.
( 1) |
| [6] |
MOURA N, VERAS R, AIRES K, et al. ABCD rule and pre-trained CNNs for melanoma diagnosis[J]. Multimedia Tools and Applications, 2019, 78(6): 6869-6888. DOI:10.1007/s11042-018-6404-8 ( 1) |
| [7] |
YAO Peng, SHEN Shuwei, XU Mengjun, et al. Single model deep learning on imbalanced small datasets for skin lesion classification[J]. IEEE Transactions on Medical Imaging, 2022, 41(5): 1242-1254. DOI:10.1109/TMI.2021.3136682 ( 2) |
| [8] |
GEORGAKOPOULOS S V, KOTTARI K, DELIBASIS K, et al. Improving the performance of convolutional neural network for skin image classification using the response of image analysis filters[J]. Neural Computing and Applications, 2019, 31(6): 1805-1822. DOI:10.1007/s00521-018-3711-y ( 2) |
| [9] |
JOSEF S, HANKE S. Analysis of skin lesion images with deep learning[EB/OL]. (2021-1-3)[2022-10-4]. https://arxiv.org/abs/2101.03814.
( 1) |
| [10] |
ÖZDEM R Z, KELES H Y, TANRIÖVER Ö. Skin disease classification using few-shot meta-transfer learning[A]. Proceedings of the 30th Signal Processing and Communications Applications Conference (SIU)[C]. 2022: 1-4. DOI: 10.1109/SIU55565.2022.9864791.
( 1) |
| [11] |
NGUYEN D C, DING M, PATHIRANA P N, et al. Federated learning for internet of things: A comprehensive survey[J]. IEEE Communications Surveys and Tutorials, 2021, 23(3): 1622-1658. DOI:10.1109/COMST.2021.3075439 ( 1) |
| [12] |
LI Weipeng, ZHUANG Jiaxin, WANG Ruixuan, et al. Fusing metadata and dermoscopy images for skin disease diagnosis[A]. Proceedings of 17th International Symposium on Biomedical Imaging (ISBI)[C]. 2020: 1996-2000. DOI: 10.1109/ISBI45749.2020.9098645.
( 1) |
| [13] |
YUAN Binhang, GE Song, XING Wenhui. A federated learning framework for healthcare IoT devices[J]. Future Generation Computer Systems, 2020, 129(34): 380-388. DOI:10.48550/arXiv.2005.05083 ( 1) |
| [14] |
CHEN Yiqiang, QIN Xin, WANG Jindong, et al. FedHealth: A federated transfer learning framework for wearable healthcare[J]. IEEE Intelligent Systems, 2020, 35(4): 83-93. DOI:10.1109/MIS.2020.2988604 ( 1) |
| [15] |
NGUYEN D C, PATHIRANA P N, DING M, et al. BEdgeHealth: A decentralized architecture for edge-based IoT networks using blockchain[J]. IEEE Internet of Things Journal, 2021, 8(14): 11743-11757. DOI:10.1109/JIOT.2021.3058953 ( 1) |
| [16] |
ROY A G, SIDDIQUI, PALSTERL S, et al. An approach for peer-to-peer federated learning[A]. Proceedings of the 51st IEEE/IFIP International Conference on Dependable Systems and Networks Workshops (DSN-W)[C]. 2021: 150-157. DOI: 10.1109/DSN-W52860.2021.00034.
( 1) |
| [17] |
LI Xiang, HUANG Kaixuan, YANG Wenhao, et al. On the convergence of FedAvg on Non-ⅡD data[A]. Proceedings of the 8th International Conference on Learning Representations (ICLR)[C]. 2020: 1-26. DOI: 10.48550/arXiv.1907.02189.
( 1) |
| [18] |
KARIMIREDDY S, KALE S, MOHRI M, et al. SCAFFOLD: Stochastic controlled averaging for federated learning[A]. Proceedings of the 37th International Conference on Machine Learning (PMLR)[C]. 2020: 5132-5143. DOI: 10.48550/arXiv.1910.06378.
( 1) |
| [19] |
AFONIN A, KARIMIREDDY S P. Towards model-agnostic federated learning using knowledge distillation[A]. Proceedings of the 10th International Conference on Learning Representa-tions (ICLR)[C]. 2022: 1-25. DOI: 10.48550/arXiv.2110.15210.
( 1) |
| [20] |
ACAR D A E, ZHAO Y, MATAS R, et al. Federated learning based on dynamic regulari-zation[A]. Proceedings of the 9th International Conference on Learning Representations (ICLR)[C]. 2021: 1-43. DOI: 10.48550/arXiv.2111.04263.
( 1) |