Analyse comparative de Skinive 2021 – 2022

Auteurs : Kirill S, Viktor S.

1. Introduction

Les maladies de la peau sont la cause la plus fréquente de toutes les maladies humaines. Cette pathologie touche près de 900 millions de personnes dans le monde [1]. Il existe plus de 3 000 maladies de la peau connues dans le monde. Le cancer de la peau est aujourd’hui le type de néoplasie maligne le plus courant dans les populations blanches. Le mélanome, en particulier, est le cancer de la peau dont le pronostic est le plus sombre [2]. Le taux d’incidence du mélanome et du cancer de la peau sans mélanome est en augmentation dans le monde entier. On peut s’attendre à des taux d’incidence de 40 à 50/100 000 habitants/an en Europe au cours des prochaines décennies [3]. Les maladies de la peau représentent un fardeau financier, socio-économique et psychologique pour la communauté. En outre, les pathologies cutanées mettent à rude épreuve les médecins généralistes et les médecins spécialistes. Selon des études statistiques, le nombre moyen de dermatologues dans les pays européens est insuffisant. Il n’est que de 5 pour 100 000 habitants [4].

Des mesures visant à détecter plus tôt les maladies de la peau sont nécessaires. L’élément prometteur est la mise en œuvre de technologies d’apprentissage automatique. C’est ce que confirme Chui, qui a montré qu’en médecine, il est possible d’automatiser 36 % des fonctions. En particulier au niveau de la collecte et de l’analyse des données [5]. L’élaboration d’applications mobiles revêt une importance particulière dans le développement d’une telle automatisation. Les applications sont des outils très pratiques pour une utilisation courante et généralisée dans la pratique clinique.

Les applications de téléphonie mobile sont largement utilisées en dermatologie. En effet, la composante visuelle des maladies de la peau peut être facilement numérisée à l’aide de l’appareil photo d’un téléphone portable. L’image peut ensuite être analysée par des algorithmes d’apprentissage automatique afin de déterminer la pathologie. En fonction des résultats obtenus, l’utilisateur reçoit des recommandations sur les mesures à prendre.

Le potentiel des applications de détection des maladies cutanées par l’IA est particulièrement important pendant les périodes où l’état épidémiologique est défavorable. Par exemple, lors de la pandémie de COVID-19, lorsque les consultations médicales en personne sont inaccessibles et que la fourniture de services de santé à distance revêt une importance particulière [6].

1.1 L’utilisation de l’intelligence artificielle en dermatologie

Les possibilités offertes par l’apprentissage automatique profond en matière de reconnaissance des maladies de la peau et de diagnostic différentiel sont inspirantes. Elles démontrent leur capacité à aider les cliniciens dans leur pratique quotidienne. Ces solutions permettent de trier les cas afin de donner la priorité aux soins cliniques, d’aider les non-dermatologues à initier des soins dermatologiques avec plus de précision. Enfin, elles améliorent potentiellement l’accès aux soins nécessaires.

La précision du diagnostic des maladies de la peau chez les médecins généralistes et les dermatologues est très différente. Par exemple, l’étude a montré que la précision de la reconnaissance du mélanome chez les généralistes n’est que de 0,49 à 0,80. Chez les dermatologues, cet indicateur atteint 0,85-0,89 [7]

Une autre étude a comparé la précision de la reconnaissance des pathologies cutanées entre un algorithme d’apprentissage automatique et des professionnels de la santé [8]. L’étude montre que la précision des diagnostics du réseau neuronal est de 90 % (pour les trois premiers résultats). Cela indique donc que la précision des algorithmes d’apprentissage automatique peut être comparable à celle des dermatologues. Elle est nettement supérieure à celle des médecins de premier recours.

Malgré ses avantages évidents, l’utilisation de produits logiciels pour résoudre des tâches aussi importantes que la détection des maladies de la peau fait l’objet de critiques. L’argument des détracteurs est une sensibilité et une spécificité douteuses, ainsi que l’absence d’une approche normalisée des tests parmi les fabricants, ce qui est une condition préalable à une évaluation objective. L’introduction de ces solutions dans la pratique clinique n’est possible que si l’on dispose d’un réseau neuronal bien entraîné [9]. Cela implique un certain nombre d’activités, notamment la création d’ensembles de données d’entraînement et de validation, le recyclage régulier du réseau neuronal, l’amélioration de l’enveloppe extérieure pour une utilisation pratique de l’application mobile par l’utilisateur final, et d’autres encore [10].

Le réseau neuronal Skinive illustre la performance de l’amélioration du réseau et les résultats obtenus.

2. Matériels et méthodes pour l’étude de la précision de Skinive

2.1. Caractéristiques du réseau neuronal Skinive

L’algorithme Skinive est un modèle de réseaux neuronaux dermatologiques pré-entraînés à résolution complète et un logiciel d’application de l’environnement des réseaux neuronaux, qui sont situés dans un nuage sécurisé et sont intégrés aux applications (web, mobiles et autres logiciels) à l’aide d’un service API.

L’algorithme Skinive est la technologie clé d’applications similaires. Il s’agit d’un modèle de réseaux neuronaux dermatologiques pré-entraînés et d’un logiciel d’application de l’environnement de réseaux neuronaux, qui se trouvent dans un nuage sécurisé et sont intégrés à l’aide d’un service API.

La précision des algorithmes de reconnaissance Skinive s’améliore constamment grâce à l’alimentation systématique de la base de données en images de pathologies cutanées, ainsi qu’à l’amélioration de l’algorithme de traitement. Chaque image, avant d’être envoyée pour l’entraînement de l’algorithme, est testée cliniquement par un dermatologue. Grâce à une étroite collaboration avec des institutions médicales, certains des cas utilisés pour améliorer la précision du test de diagnostic du logiciel ont été confirmés par des examens histologiques.

2.2. Amélioration du réseau neuronal Skinive en 2022

De janvier 2022 à juillet 2022, le réseau neuronal Skinive a fait l’objet d’un certain nombre d’améliorations à la fois techniques et cliniques.

Dans le cadre du programme « ELISE« , afin d’améliorer les capacités du réseau neuronal, les travaux suivants ont été réalisés : le module d’imagerie faciale a été ajouté (à des fins de filtrage des données personnelles avant traitement), ainsi que le module déterminant l’adéquation du traitement de l’image (pour améliorer la précision globale) et l’ensemble de données d’entraînement a été étendu à 54 604 images de pathologies cutanées.

En outre, la liste des pathologies reconnues par le réseau neuronal Skinive a été élargie. Une attention particulière a été accordée à des groupes de pathologies tels que la dermatite et l’eczéma. Ces pathologies ne sont pas moins importantes que les néoplasmes ou les infections cutanées. Elles nuisent considérablement à la qualité de vie du patient et nécessitent un diagnostic rapide.

Outre la dermatite, en 2022, il est devenu possible de différencier le Versicolor des autres lésions cutanées fongiques, ainsi que le naevus acral des néoplasmes cutanés pigmentés. Ces affections nécessitent une approche différente dans la pratique clinique.

Ainsi, le nombre total d’images dans l’ensemble de données d’entraînement Skinive pour le troisième trimestre 2022 est de 164 142 photos de pathologies cutanées. Le nombre de pathologies cutanées reconnaissables s’élève à 51 (tableau 1).

Tableau 1 – Classes de pathologies reconnues

Le principe de base du travail en 2022 était l’amélioration non seulement quantitative, mais aussi qualitative des données. Toutes les données utilisées pour l’entraînement du réseau neuronal ont fait l’objet d’un contrôle à plusieurs niveaux afin de vérifier la conformité avec la qualité de l’image et l’interprétation sans ambiguïté par les experts médicaux.

En juillet 2022, un travail à grande échelle a été réalisé, qui a permis d’obtenir de nouvelles données sur les résultats de la précision de la reconnaissance des pathologies cutanées par le réseau neuronal Skinive 3.0.

2.3 Formation de l’ensemble de données de validation pour l’étude de la précision de Skinive

Pour déterminer la précision de l’algorithme Skinive, un ensemble de données de validation a été spécialement préparé, composé de 25 688 images de pathologie cutanée. Mais les images incluses dans l’ensemble de données de validation n’ont pas été utilisées pour entraîner le réseau neuronal. Chaque image a été évaluée par un dermatologue et un oncologue pour déterminer si la pathologie représentée correspondait à une certaine classe, en tenant compte des résultats de l’examen histologique.

La structure de l’ensemble de données de validation est conforme à la structure de l’ensemble de données d’apprentissage, à l’exception de la dermatite et de l’eczéma. Ces deux dernières classes ne sont pas incluses dans l’ensemble de données de validation, car leur reconnaissance par le réseau neuronal Skinive n’est devenue possible qu’en 2022, et le nombre total de photographies de ces maladies ne nous a pas permis d’isoler un ensemble de données de validation distinct en volume suffisant pour évaluer correctement la précision.

L’ensemble de données de validation comprend 7 classes de maladies de la peau. Pour plus de clarté, une description détaillée de l’ensemble de données de validation est présentée dans le tableau 2.

Tableau 2 – Ensemble de données de validation Skinive

Cet ensemble de données de validation a été utilisé pour l’analyse de la précision en 2021, ce qui a permis de déterminer la dynamique de croissance des indicateurs de sensibilité et de spécificité.

Pour déterminer la sensibilité de l’algorithme, des groupes de maladies cutanées ont été utilisés, tels que l’acné et la rosacée, les maladies papulosquameuses, les mycoses, les maladies virales, l’herpès, les lésions précancéreuses et malignes.

Pour déterminer la spécificité de l’algorithme, 20982 images de néoplasmes cutanés bénins ont été utilisées.

2.4. Sécurité des données

Le complexe matériel et logiciel est construit sur les solutions Amazon Web Services et est une série de serveurs virtuels inaccessibles de l’extérieur, interconnectés par des solutions basées sur plusieurs produits et solutions logicielles, tels que Docker, Amazon Elastic Container Services.

Skinive ne stocke aucune information personnelle identifiable pouvant être utilisée pour identifier un utilisateur spécifique. L’identification de l’utilisateur est effectuée par un jeton généré de manière aléatoire qui est stocké dans l’appareil et avec lequel on accède à l’application. Les données stockées sont impersonnelles et n’ont aucun lien avec l’utilisateur réel du système. Les images graphiques envoyées au serveur par l’utilisateur sont soumises à une procédure d’anonymisation qui consiste à supprimer toutes les informations relatives au service de l’image (en-têtes EXIF, etc.).

Les services de journalisation de l’infrastructure stockent des informations sur les erreurs fatales des applications, l’adresse IP d’origine de la requête, le nom de la fonction appelée et la version du logiciel de l’utilisateur.

3. Résultats de la précision Skinive

L’ensemble de données de validation utilisé a été constitué en 2021 pour tester en interne la précision du réseau neuronal Skinive. Les résultats ont été conservés et n’ont jamais été publiés.

Après avoir envoyé les ensembles de données de validation générés pour analyse à l’algorithme Skinive en 2022, les valeurs suivantes de sensibilité et de spécificité ont été obtenues pour chacune des classes analysées (tableau 3) :

Tableau 3 – Résultats de la précision du réseau neuronal Skinive pour 2022 et comparaison avec des résultats similaires pour 2021

Dans ce cas, la sensibilité a été déterminée comme le rapport entre le nombre de cas de pathologie cutanée correctement déterminés par l’algorithme (acné et rosacée, papulosquameuse, mycose, maladies virales, herpès, précancéreuse + maligne) et le nombre de tous les cas cliniquement confirmés, respectivement. En d’autres termes, cette valeur indique la proportion de vrais cas positifs, c’est-à-dire les cas correctement identifiés par l’algorithme de risque. Plus la sensibilité est élevée, moins l’algorithme est susceptible de passer à côté d’une pathologie cutanée à haut risque.

La spécificité dans le rapport sur la précision de Skinive a été définie comme le rapport entre le nombre de cas de néoplasmes cutanés bénins correctement identifiés par l’algorithme et le nombre de tous les néoplasmes bénins confirmés cliniquement. Cette valeur indique la proportion de vrais cas négatifs (les situations où il n’y a pas de risques élevés sur la photographie). Par conséquent, plus la spécificité est élevée, moins il y a de risque de prédiction erronée d’une pathologie maligne là où elle n’existe pas, et moins il y aura de « fausses alertes ».

Matrice d’erreur du Skinive

Pour comprendre visuellement les erreurs de l’algorithme et identifier la tendance à la reconnaissance incorrecte par le réseau neuronal, une matrice d’erreurs a été compilée (tableau 4), qui reflète la distribution des réponses correctes (par sensibilité) et des erreurs entre les classes de nosologies.

Tableau 4 – Matrice des erreurs par classe de maladies

Désignation : La cellule verte correspond à une prédiction correcte du niveau de risque.

La sensibilité, la spécificité et le taux d’erreur de l’algorithme Skinive sont présentés dans le tableau 5 :

Tableau 5 – Indicateurs globaux de l’algorithme Skinive pour 2021 et 2022

4. Discussion de la précision de Skinive

Grâce à l’ensemble des travaux réalisés sur le réseau neuronal Skinive, il a été possible d’obtenir une augmentation des indicateurs de sensibilité et de spécificité pour presque toutes les classes de néoplasmes et de maladies cutanées étudiées.

Par exemple, la sensibilité à la détection des néoplasmes précancéreux et malins en 2021 était de 82,6 %, alors qu’en 2022 elle était de 96,3 % (+13,7 %), ce qui montre une augmentation significative de la sensibilité.

Les résultats obtenus nous permettent d’affirmer que l’ensemble des mesures visant à améliorer le réseau neuronal Skinive se traduit par une amélioration de la précision de l’algorithme dans la reconnaissance du cancer de la peau. Une reconnaissance opportune et précise permet un traitement plus efficace de cette pathologie. De toute évidence, c’est cette pathologie qui est la plus pertinente et la plus importante du point de vue de la préservation de la vie et de la santé de la population.

Une augmentation significative de la sensibilité est également constatée pour d’autres classes de pathologies cutanées (acné et rosacée, papulosquameuses, mycoses, maladies virales et herpès) de +3 à +10%.

Les résultats montrent que le réseau neuronal de Skinive est plus sensible à la pathologie cutanée et moins susceptible de manquer des situations où le patient a réellement besoin d’une attention médicale ou d’un examen plus détaillé à l’aide d’autres outils (dermatoscopie, biopsie suivie d’un examen histologique).

Bien que la spécificité générale de l’algorithme ait diminué, il convient de noter une augmentation significative de la spécificité dans la reconnaissance des maladies bénignes : en 2021, elle était de 93,0%, en 2022 – 98,2% (+5,2%). Sur la base de cette dynamique, le réseau neuronal de Skinive est devenu moins sujet aux « fausses alertes ». Grâce à cette caractéristique, l’utilisation du réseau neuronal de Skinive réduira le nombre de visites médicales injustifiées et, dans le même temps, la charge de travail des professionnels de la santé.

Analyse de la matrice d’erreurs

Une analyse détaillée de la matrice d’erreurs montre parmi quelles maladies et avec quelle fréquence l’algorithme de Skinive rencontre le plus de difficultés dans le diagnostic différentiel des néoplasmes et des maladies de la peau. Ces valeurs peuvent être considérées comme un résultat clé pour la planification de travaux ultérieurs sur l’amélioration du réseau neuronal Skinive et l’augmentation de la précision de l’algorithme pour des nosologies individuelles.

La matrice d’erreurs montre clairement que le pourcentage d’erreurs le plus élevé dans la reconnaissance des pathologies cutanées est observé dans la paire « bénigne » et « prémaligne + maligne » : 5.9%. L’analyse des erreurs a montré que le réseau neuronal a attribué par erreur le nævus dysplasique au nævus bénin. Avec une comparaison visuelle (figure 1), des difficultés peuvent en effet survenir dans le diagnostic différentiel de ces cas.

Naevus pigmenté (confirmé histologiquement) Nævus dysplasique (confirmé histologiquement)

Figure 1 : Comparaison de la macrophotographie d’un nævus pigmenté et d’un nævus dysplasique

Ces situations cliniques nécessitent un diagnostic différentiel plus précis, incluant une dermatoscopie ou une biopsie avec examen histologique.

L’indicateur du taux de manque

L’indicateur Miss Rate confirme la diminution du nombre de pathologies cutanées manquées. Ainsi, en 2021, il était de 7,0%, en 2022 – 1,8% (-5,2%). En d’autres termes, le nombre de conclusions erronées (« faux espoirs ») a été considérablement réduit. En termes absolus, le nombre de faux négatifs est passé de 328 à 86. Une analyse plus détaillée des faux négatifs pour les maladies de la peau est présentée dans le tableau 6.

Tableau 6 : Analyse comparative du taux de faux négatifs pour 2021 et 2022

En comparant le taux d’erreur pour 2021 et 2022 dans le rapport de précision de Skinive, une tendance globale à la diminution du nombre d’erreurs d’interprétation dans la reconnaissance de la pathologie cutanée devient évidente. En outre, cette comparaison nous permet de constater la dynamique et la justesse du vecteur des travaux en cours sur l’amélioration du réseau neuronal.

Les changements les plus positifs ont eu lieu dans la classe Prémalin + Malin. Le nombre total d’erreurs en 2021 était de 17,4 %, alors qu’en 2022 il n’était plus que de 3,7 % (-13,7 %). Dans les autres classes, cet indicateur est passé de -3,4 à -10,4 %.

Étant donné l’importance d’une reconnaissance rapide et fiable des risques de pathologie cutanée, cette tendance indique une réelle possibilité d’utiliser le réseau neuronal Skinive dans la pratique clinique.

5. Conclusions

En 2022, l’ensemble de données sur lequel l’algorithme Skinive a été entraîné a été augmenté de plus de 50 000 photographies de pathologies cutanées. Une caractéristique clé de toutes ces photos est que la grande majorité d’entre elles (90-95%) ont été prises avec l’appareil photo d’un smartphone sans l’utilisation d’optiques externes ou d’autres moyens spéciaux (par exemple, des dermatoscopes).

Parallèlement, les résultats de l’analyse de la précision du réseau neuronal Skinive 3.0 (entraîné en 2022 sur un total de plus de 160 000 images) montrent une augmentation significative de la sensibilité (identification correcte de la pathologie cutanée lorsqu’une consultation médicale est nécessaire) des réseaux neuronaux et de la spécificité (détermination correcte des néoplasmes bénins lorsqu’une consultation médicale n’est pas nécessaire) par rapport à 2021.

L’ajout du module de qualité d’image a permis le dépistage précoce des images de mauvaise qualité, améliorant ainsi la qualité des images collectées pour les ensembles de données, ce qui a eu une incidence directe sur la précision finale de l’algorithme.

Étant donné que l’algorithme Skinive s’est concentré sur les photos mobiles en 2022, on peut affirmer que ce réseau neuronal s’est davantage adapté à la pratique clinique réelle en utilisant l’appareil photo d’un smartphone. Il est certain que les médecins de premier recours peuvent utiliser des appareils mobiles équipés de l’application Skinive pour dépister les pathologies cutanées en toute confiance. Ceci est confirmé par la diminution significative du nombre de passages erronés de pathologie cutanée lorsqu’ils sont reconnus par le réseau neuronal Skinive.

Références

1. Andrews’ diseases of the skin: clinical dermatology. James WD, Berger TG, Elston DM, Odom RB. Saunders Elsevier; 2006.
2. Current state of melanoma diagnosis and treatment. Davis, L.E.; Shalin, S.C.; Tackett, A.J. Cancer Biol. Ther. 2019, 20, 1366–1379. https://doi.org/10.1080/15384047.2019.1640032
3. Epidemiology of skin cancer. Ulrike Leiter, Thomas Eigentler, Claus Garbe. PMID: 25207363. DOI: 10.1007/978-1-4939-0437-2_7
4. Augustin M, Reusch M, Augustin J, Wagner T, Kämpfe S. European dermatology health care survey. Short report. 2013 (https://www.dermasurvey.eu/wp-content/uploads/eu-derma-health-care-survey-2013-short.pdf)
5. Chui M, Manyika J, Miremadi M. Where machines could replace humans – and where they can’t (yet) (https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/where-machines-could-replace-humans-and-where-they-cant-yet)
6. Chatterjee, P., et al. The 2019 novel coronavirus disease (COVID-19) pandemic: A review of the current evidence. Indian J Med Res. 2020 Feb & Mar;151(2 & 3):147-159;]), as well as in remote areas [[04]. Health service provision in rural and remote areas: a needs analysis. P Dunne, C Patterson, M Kilmartin, M Sladden. PMID: 8028543. DOI: 10.5694/j.1326-5377.1994.tb127349.x
7. Michael DC, Judy W. Agreement between dermatologists and primary care practitioners in the diagnosis of malignant melanoma: review of the literature. J Cutan Med Surg. Sep-Oct 2012;16(5):306-10
8. Liu, Y., et al. A deep learning system for differential diagnosis of skin diseases. Nat Med 26, 900–908 (2020). https://doi.org/10.1038/s41591-020-0842-3
9. Deep Learning Approaches for Prognosis of Automated Skin Disease. Pravin R. Kshirsagar, Hariprasath Manoharan, S. Shitharth, Abdulrhman M. Alshareef, Nabeel Albishry, and Praveen Kumar Balachandran. doi: 10.3390/life12030426. PMCID: PMC8951408. PMID: 35330177
10. Machine Learning and Its Application in Skin Cancer. Kinnor Das, Clay J. Cockerell, Anant Patil, Paweł Pietkiewicz, Mario Giulini, Stephan Grabbe and Mohamad Goldust. PMCID: PMC8705277. DOI: 10.3390/ijerph182413409