Remarque : il ne s’agit pas de la version actuelle du rapport !

Skinive a amélioré la précision du réseau neuronal en 2021 et a publié les données. La dernière version du rapport est disponible sur le lien suivant : https://skinive.com/skinive-accuracy2021/

Table des matières

• RÉSUMÉ

1. INTRODUCTION
2. ALGORITHME SKINIVE POUR ANALYSER LES IMAGES DE LÉSIONS CUTANÉES
   2.1 Nosologies et classes
   2.2 Architecture du réseau neuronal
   2.3 Sécurité des données
3. MATÉRIEL ET RÉSULTATS

• CONCLUSION
• RÉFÉRENCE
• EXAMEN PAR DES EXPERTS EN INFORMATIQUE
• EXAMEN PAR DES EXPERTS MÉDICAUX

Analyse de la précision de l’algorithme Skinive pour l’évaluation du risque d’affections cutanées, basée sur des algorithmes d’apprentissage automatique.

Auteurs : K.Atstarov, A.Lian, V.Shpudeiko, A.Ahushevich, I.Lichko

Résumé

Contexte

Les algorithmes d’apprentissage automatique pour le traitement de l’imagerie médicale atteignent aujourd’hui une précision d’expert et sont activement introduits dans la pratique médicale. Cependant, il n’existe pas d’évaluation
Cependant, il n’existe pas d’évaluation objective de l’utilisation de l’apprentissage automatique pour classer les lésions cutanées dans un certain nombre d’applications pour smartphones. L’absence de méthodologies objectives et d’ensembles de données ouvertes pour l’évaluation de ces
d’évaluation de ces algorithmes (comme dans le cas, par exemple, d’Imagenet pour la reconnaissance générale d’objets dans les images) entrave l’évaluation objective par les spécialistes et empêche l’utilisation généralisée de cette technologie en santé publique.
la santé publique.

Objectif

Dans cette étude, nous évaluons expérimentalement la précision des algorithmes Skinive et les comparons à l’étude précédemment publiée sur l’évaluation du risque de cancer de la peau(1*).

Méthodes

Cette publication présente en détail les résultats de notre système d’application pour smartphone. Skinive utilise un algorithme d’apprentissage automatique pour calculer le niveau de risque des pathologies cutanées. L’algorithme
est entraîné sur 63 955 images. Toutes les images de l’ensemble de données ont été évaluées par des dermatologues.

Pour évaluer la sensibilité de l’algorithme, trois ensembles de données de validation sont utilisés :

(Pré) malin – 285 cas de cancer de la peau et d’affections précancéreuses ;

HPV – 285 cas de papillomavirus humain ;

Acné – 285 cas d’acné, de milia, de rosacée.

Nous calculons la spécificité sur un ensemble séparé contenant 6000 cas bénins.

Résultats

Pour simuler une expérience, les auteurs ont préparé des ensembles de données de validation avec une distribution similaire du nombre d’images par nosologie et ont utilisé le réseau neuronal Skinive pour analyser les images et classer les niveaux de risque, comme dans l’exemple ci-dessous :

Niveau de sensibilité : 89,1 % – néoplasmes, 79,6 % – HPV, 86,3 % – Acné
Spécificité : 95,3 %.

*La sensibilité est définie comme le rapport entre le nombre de cas de pathologie cutanée correctement déterminés par l’algorithme (maladies précancéreuses et tumeurs malignes, acné et HPV) et le nombre de tous les cas cliniquement confirmés, respectivement.

** La spécificité est égale au nombre de cas bénins correctement classés par l’algorithme comme étant à faible risque (vrais cas négatifs), divisé par le nombre total de tous les cas bénins confirmés cliniquement.
Les résultats obtenus ci-dessus ont suivi de près la configuration expérimentale proposée dans 1 * en termes de distribution des classes pertinentes et de nombre total de cas.

Conclusions

Les résultats de la précision du réseau neuronal sont comparables à la précision des dermatologues obtenue dans des études (5 *, 6 *) et peuvent être considérés comme un système expert d’aide à l’adoption d’une décision médicale.

Photo : Health Professionals Accuracy Scale (échelle de précision des professionnels de la santé)

Les résultats de l’analyse comparative ne peuvent être interprétés sans ambiguïté et ne sont pas totalement fiables, car les ensembles de données utilisés proviennent de sources différentes. Le manque de données ouvertes (photos) et l’approche commune de la validation des décisions des différents fabricants ne permettent pas une analyse comparative indépendante, nécessaire pour confirmer l’efficacité de la méthode en général et une comparaison objective des solutions existantes. Néanmoins, les résultats obtenus ci-dessus sont comparables à ceux des professionnels de la santé et peuvent être encore améliorés avec des données supplémentaires et des algorithmes plus optimisés.

L’absence d’ensembles de données de validation ouverts (images) et l’approche commune des différents développeurs en matière de validation des décisions ne leur permettent pas d’effectuer une analyse comparative indépendante, qui est nécessaire pour confirmer l’efficacité de la méthode en général et la comparaison objective des solutions existantes.

Des recherches futures sont nécessaires pour définir le rôle et évaluer l’impact des applications mobiles sur le système de santé et ses utilisateurs et pour discuter plus avant de la mise en œuvre de méthodologies communes afin d’évaluer l’efficacité des applications mobiles pour l’évaluation du risque de maladies cutanées.

P.S.

Nous sommes ouverts à la recherche collaborative avec d’autres équipes de datasientistes et pouvons donner accès à notre ensemble de données validées sur demande.

Nous sommes prêts à fournir une version complète de notre étude pour les besoins suivants :

• publications dans des revues médicales et dans la presse écrite
• examens par des experts médicaux et techniques ;
• partenaires, entreprises clientes, investisseurs (dans le cadre d’un accord de confidentialité jusqu’au moment de la publication officielle dans des sources ouvertes).

Сontactez-nous de manière pratique

Remarque : il ne s’agit pas de la version actuelle du rapport !

Skinive a amélioré la précision du réseau neuronal en 2021 et a publié les données. La dernière version du rapport est disponible sur le lien suivant : https://skinive.com/skinive-accuracy2021/

Commentaires

Vladimir Nedovic

Directeur technique chez Rockstart AI Accelerator
15 ans d’expérience dans l’analyse automatisée d’images et la science des données

Les travaux de recherche décrits dans cet article ont été menés par les auteurs dans le cadre du programme d’accélération de l’IA Rockstart à ‘s Hertogenbosch, aux Pays-Bas. L’objectif de l’étude était triple :

1. Identifier un ensemble représentatif et équilibré d’images pouvant être mis à la disposition de tous les chercheurs utilisant la vision par ordinateur et l’apprentissage automatique pour la classification des lésions cutanées.
2. Créer un point de référence pour l’évaluation de toutes les méthodes similaires dans ce domaine.
3. Comparer les résultats de Skinive à l’état de l’art dans le domaine sur la base de la référence et des données définies ; placer ces résultats dans le contexte des performances des professionnels de la santé.

Dans le cadre du programme d’accélération, j’ai eu des séances hebdomadaires avec l’équipe technique de Skinive, pour superviser la configuration expérimentale, la composition de l’ensemble des données, la distribution des classes et d’autres aspects pertinents de la création d’un tel point de référence. À ma connaissance, le benchmark répond à tous les critères nécessaires et constitue donc un bon candidat pour servir d’étalon-or à d’autres chercheurs dans ce domaine pour tester les performances de leurs algorithmes.

En outre, les auteurs et moi-même avons rigoureusement contrôlé les résultats de toutes les expériences, y compris celles présentées dans ce rapport. Les auteurs se sont donné beaucoup de mal pour s’assurer que ces résultats sont non seulement optimaux pour leur cas d’utilisation, mais aussi comparables à l’état de l’art dans le domaine ainsi qu’à l’expérience médicale humaine.

Alexandra Aniskevich

Assistante du département des maladies de la peau et des maladies sexuellement transmissibles à l’université médicale d’État du Belarus,
Expérience professionnelle : depuis 2009

Concernant l’article « Analyse de la précision de l’algorithme Skinive pour l’évaluation du risque des affections cutanées, basée sur des algorithmes d’apprentissage automatique ». (Auteurs : K.Atstarov, A.Lian, V.Shpudeiko, A.Ahushevich, I.Lichko).

Cet article est consacré à un problème urgent de la dermatovénéréologie : l’étude des perspectives d’utilisation en médecine d’algorithmes d’apprentissage automatique pour le traitement d’images médicales, qui amélioreront le diagnostic précoce des oncopathologies cutanées. L’objectif de l’étude était d’étudier la précision diagnostique de l’application mobile Skinive et de comparer les résultats avec les travaux précédemment publiés par Skinvision B.V.

Les auteurs ont établi la sensibilité (79,6 %-89,1 %) et la spécificité (93,5 %) de l’application mobile Skinive, ce qui indique un niveau élevé de la méthode de diagnostic, mais il est nécessaire d’améliorer le niveau de sensibilité pour la détection du cancer de la peau.

Conclusion : Cet article a été rédigé à un niveau scientifique élevé. La structure de l’article reflète de manière cohérente la logique de l’étude. Il convient de noter que l’article est rédigé dans un langage clair, sans être surchargé par une terminologie hautement spécialisée. Les conclusions des auteurs sont bien fondées. Les résultats de ce travail peuvent être utiles aux oncodermatologues, aux dermato-vénéréologues, ainsi qu’aux médecins généralistes.

Référence :

1. Accuracy of a smartphone application for triage of  skin lesions based on machine learning algorithms
A. Udrea, G.D. Mitra, D. Costea, E.C. Noels, M. Wakkee, D.M. Siegel, JEADV; accepted for publication. T.M. de Carvalho, T.E.C. Nijsten. Published on September 08, 2019.
https://onlinelibrary.wiley.com/doi/10.1111/jdv.15935

2. Where machines could replace humans—and where they can’t (yet)
Michael Chui, James Manyika, and Mehdi Miremadi 
https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/where-machines-could-replace-humans-and-where-they-cant-yet

3. The practice of radiology needs to change
Giles Maskell. Published on June 19, 2017
http://blogs.bmj.com/bmj/2017/06/19/giles-maskell-the-practice-of-radiology-needs-to-change/

4. Using Deep Learning to Inform Differential Diagnoses of Skin Diseases
Yuan Liu, PhD, Software Engineer and Peggy Bui, MD, Google Health. Published on September 12, 2019
https://ai.googleblog.com/2019/09/using-deep-learning-to-inform.html

5. Assessing diagnostic skill in dermatology: a comparison between general practitioners and dermatologists.
Tran H1, Chen K, Lim AC, Jabbour J, Shumack S. Published in November, 2005
https://www.ncbi.nlm.nih.gov/pubmed/16197420

6. Comparison of dermatologic diagnoses by primary care practitioners and dermatologists. A review of the literature.
Federman DG1, Concato J, Kirsner RS. Published in April, 1999
https://www.ncbi.nlm.nih.gov/pubmed/10101989

7. The 2019 novel coronavirus disease (COVID-19) pandemic: A review of the current evidence.
Chatterjee P, Nagi N, Agarwal A, Das B, Banerjee S, Sarkar S, Gupta N,
Gangakhedkar RR. Published on March 30, 2020
https://www.ncbi.nlm.nih.gov/pubmed/32242874

8. Accuracy classification score.
scikit-learn developers (BSD License). Published in October, 2019
https://scikit-learn.org/stable/modules/generated/sklearn.metrics.accuracy_score.html

9. CrossEntropyLoss
Torch Contributors
https://pytorch.org/docs/stable/nn.html#crossentropyloss

10. BCELoss
Torch Contributors
https://pytorch.org/docs/stable/nn.html#torch.nn.BCELoss

11. AWS GDPR Data Processing Addendum – Now Part of Service Terms
Chad Woolf. Published on May 22, 2018
https://aws.amazon.com/blogs/security/aws-gdpr-data-processing-addendum/

12. Navigating GDPR Compliance on AWS
Amazon Web Services, Inc. or its affiliates. Published in October, 2019
https://d1.awsstatic.com/whitepapers/compliance/GDPR_Compliance_on_AWS.pdf