Nota: ¡Ésta no es la versión actual del informe!

Skinive mejoró la precisión de la red neuronal en 2021 y publicó los datos. La última versión del informe está disponible en el enlace – https://skinive.com/skinive-accuracy2021/

Índice de contenidos

• RESUMEN

1. INTRODUCCIÓN
2. ALGORITMO SKINIVE PARA ANALIZAR LAS IMÁGENES DE LESIONES CUTÁNEAS
   2.1 Nosologías y clases
   2.2 Arquitectura de la red neuronal
   2.3 Seguridad de los datos
3. MATERIALES Y RESULTADOS

• CONCLUSIÓN
• REFERENCIAS
• REVISIÓN DE EXPERTOS EN AI
• PERITAJE MÉDICO

Análisis de la precisión del algoritmo Skinive para la evaluación del riesgo de afecciones cutáneas, basado en algoritmos de aprendizaje automático.

Autores: K.Atstarov, A.Lian, V.Shpudeiko, A.Ahushevich, I.Lichko

Resumen

Antecedentes

En la actualidad, los algoritmos de aprendizaje automático para el procesamiento de imágenes médicas están alcanzando una precisión experta y se están introduciendo activamente en la práctica médica. Sin embargo, no existe una evaluación
evaluación objetiva del uso del aprendizaje automático para clasificar lesiones cutáneas en una serie de aplicaciones de teléfonos inteligentes. La falta de metodologías objetivas y conjuntos de datos abiertos para la evaluación de estos
algoritmos (como en el caso, por ejemplo, de Imagenet para el reconocimiento general de objetos en imágenes) dificulta la evaluación objetiva por parte de especialistas e impide el uso generalizado de esta tecnología en la sanidad pública.
pública.

Objetivo

En este estudio, evaluamos experimentalmente la precisión de los algoritmos Skinive y los comparamos con el estudio publicado anteriormente sobre la evaluación del riesgo de cáncer de piel(1*).

Métodos

Esta publicación presenta en detalle los resultados de nuestro sistema de aplicación para smartphone. Skinive utiliza un algoritmo de aprendizaje automático para calcular la clasificación de riesgo de las patologías cutáneas. El algoritmo
se ha entrenado con 63 955 imágenes. Todas las imágenes del conjunto de datos han sido evaluadas por dermatólogos para determinar su riesgo.

Para evaluar la sensibilidad del algoritmo, se utilizan 3 conjuntos de datos de validación:

1. (Pre) malignos – 285 casos de cáncer de piel y condiciones precancerosas;
2. VPH: 285 casos de virus del papiloma humano;
3. Acné: 285 casos de acné, milia y rosácea.

Calculamos la especificidad en un conjunto separado que contenía 6000 casos benignos.

Resultados

Para simular un experimento, los autores prepararon conjuntos de datos de validación con una distribución similar del número de imágenes por nosología y utilizaron la red neuronal Skinive para analizar las imágenes y clasificar los niveles de riesgo, de forma similar al ejemplo siguiente:

Nivel de sensibilidad: 89,1% – neoplasias, 79,6% – VPH, 86,3% – Acné
Especificidad: 95,3%.

*La sensibilidad se define como la relación entre el número de casos de patología cutánea correctamente determinados por el algoritmo (enfermedades precancerosas y tumores malignos, acné y VPH) y el número de todos los casos confirmados clínicamente, respectivamente.

** La especificidad es igual al número de casos benignos clasificados correctamente por el algoritmo como de bajo riesgo (casos negativos verdaderos), dividido por el número total de todos los casos benignos confirmados clínicamente.
Los resultados obtenidos anteriormente siguieron de cerca la configuración experimental propuesta en 1 * en términos de distribuciones de clases relevantes y número total de casos.

Conclusiones

Los resultados de la precisión de la red neuronal son comparables a la precisión de los dermatólogos obtenida en estudios (5 *, 6 *) y pueden considerarse como un sistema experto para apoyar la adopción de una decisión médica.

Los resultados del análisis comparativo no pueden interpretarse sin ambigüedades ni ser totalmente fiables, ya que en los conjuntos de datos se utilizaron datos de distintas fuentes. La falta de datos abiertos (fotos) y de un enfoque común para validar las decisiones de los distintos fabricantes no permiten una evaluación comparativa independiente, necesaria para confirmar la eficacia del método en general y la comparación objetiva de las soluciones existentes. No obstante, los resultados obtenidos están a la altura de los profesionales médicos y pueden mejorarse con datos adicionales y algoritmos más optimizados.

La falta de conjuntos de datos de validación abiertos (imágenes) y un enfoque común de los distintos desarrolladores para la validación de decisiones no permiten realizar una evaluación comparativa independiente, necesaria para confirmar la eficacia del método en general y la comparación objetiva de las soluciones existentes.

Se necesitan investigaciones futuras para definir el papel y evaluar el impacto de las aplicaciones móviles en el sistema sanitario y sus usuarios, así como para seguir debatiendo la aplicación de metodologías comunes para evaluar la eficacia de las aplicaciones móviles para evaluar el riesgo de enfermedades cutáneas.

P.D.

Estamos abiertos a la investigación en colaboración con otros equipos de expertos en datos y podemos facilitar el acceso a nuestro conjunto de datos validados previa solicitud.

Estamos dispuestos a proporcionar una versión completa de nuestro estudio para los siguientes fines:

• publicaciones en revistas médicas y medios impresos
• revisiones por parte de expertos médicos y técnicos
• socios, clientes corporativos, inversores (en condiciones NDA hasta el momento de la publicación oficial en fuentes abiertas).

Сontacte con nosotros cómodamente

Nota: ¡Ésta no es la versión actual del informe!

Skinive mejoró la precisión de la red neuronal en 2021 y publicó los datos. La última versión del informe está disponible en el enlace – https://skinive.com/skinive-accuracy2021/

Reviews

Vladimir Nedovic

Technical Director at Rockstart AI Accelerator
15 years of experience with automated image analysis and data science

l trabajo de investigación que se describe en este artículo fue realizado por los autores durante el programa de aceleración de IA Rockstart en ‘s Hertogenbosch, Países Bajos . El objetivo del estudio era triple:

1. Identificar un conjunto representativo y equilibrado de imágenes que pueda ponerse a disposición de todos los investigadores que utilicen la visión por ordenador y el aprendizaje automático para la clasificación de lesiones cutáneas.
2. Crear un punto de referencia para la evaluación de todos los métodos similares en este campo.
3. Comparar los resultados de Skinive con el estado del arte en este campo sobre la base del punto de referencia y los datos definidos; situar esos resultados en el contexto de la actuación de los profesionales médicos.

Como parte del programa de aceleración, he mantenido sesiones semanales con el equipo técnico de Skinive, supervisando la configuración experimental, la composición del conjunto de datos, la distribución de clases y otros aspectos relevantes en la creación de dicho punto de referencia. Por lo que yo sé, el punto de referencia satisface todos los criterios necesarios y, por tanto, es un buen candidato para servir de patrón de oro a otros investigadores del campo a la hora de probar el rendimiento de sus algoritmos.

In addition, the authors and I rigorously inspected results of all the experiments, including those shown in this report. The authors went to great lengths to ensure that these results are not only optimal for their use-case, but also comparable to state-of-the-art in the field as well as human medical experts.

Alexandra Aniskevich

Assistant of the Department of Skin and Sexually Transmitted Diseases at the Belarusian State Medical University,
Work experience: since 2009

Sobre el artículo «Analysis of Skinive algorithm’s accuracy for risk assessment of skin conditions, based on machine learning algorithms». (Autores: K.Atstarov, A.Lian, V.Shpudeiko, A.Ahushevich, I.Lichko).

Este artículo está dedicado al problema urgente de la dermatovenerología: el estudio de las perspectivas de uso en medicina de algoritmos de aprendizaje automático para el procesamiento de imágenes médicas, que mejorarán el diagnóstico precoz de las oncopatologías cutáneas. El objetivo del estudio era estudiar la precisión diagnóstica de la aplicación móvil Skinive y comparar los resultados con los trabajos publicados anteriormente por Skinvision B.V.

Como resultado de los estudios, los autores establecieron la sensibilidad (79,6%-89,1%) y la especificidad (93,5%) de la aplicación móvil Skinive, lo que indica un alto nivel del método de diagnóstico, pero es necesario mejorar el nivel de sensibilidad para detectar el cáncer de piel.

Conclusiones: Este artículo fue escrito con un alto nivel científico. La estructura del artículo refleja coherentemente la lógica del estudio. Cabe destacar que el artículo está escrito en un lenguaje claro, no sobrecargado de terminología muy especializada. Las conclusiones de los autores están bien fundamentadas. Los resultados del trabajo pueden ser útiles para oncodermatólogos, dermatovenerólogos, así como para médicos generales.

Referencia:

1. Accuracy of a smartphone application for triage of  skin lesions based on machine learning algorithms
A. Udrea, G.D. Mitra, D. Costea, E.C. Noels, M. Wakkee, D.M. Siegel, JEADV; accepted for publication. T.M. de Carvalho, T.E.C. Nijsten. Published on September 08, 2019.
https://onlinelibrary.wiley.com/doi/10.1111/jdv.15935

2. Where machines could replace humans—and where they can’t (yet)
Michael Chui, James Manyika, and Mehdi Miremadi 
https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/where-machines-could-replace-humans-and-where-they-cant-yet

3. The practice of radiology needs to change
Giles Maskell. Published on June 19, 2017
http://blogs.bmj.com/bmj/2017/06/19/giles-maskell-the-practice-of-radiology-needs-to-change/

4. Using Deep Learning to Inform Differential Diagnoses of Skin Diseases
Yuan Liu, PhD, Software Engineer and Peggy Bui, MD, Google Health. Published on September 12, 2019
https://ai.googleblog.com/2019/09/using-deep-learning-to-inform.html

5. Assessing diagnostic skill in dermatology: a comparison between general practitioners and dermatologists.
Tran H1, Chen K, Lim AC, Jabbour J, Shumack S. Published in November, 2005
https://www.ncbi.nlm.nih.gov/pubmed/16197420

6. Comparison of dermatologic diagnoses by primary care practitioners and dermatologists. A review of the literature.
Federman DG1, Concato J, Kirsner RS. Published in April, 1999
https://www.ncbi.nlm.nih.gov/pubmed/10101989

7. The 2019 novel coronavirus disease (COVID-19) pandemic: A review of the current evidence.
Chatterjee P, Nagi N, Agarwal A, Das B, Banerjee S, Sarkar S, Gupta N,
Gangakhedkar RR. Published on March 30, 2020
https://www.ncbi.nlm.nih.gov/pubmed/32242874

8. Accuracy classification score.
scikit-learn developers (BSD License). Published in October, 2019
https://scikit-learn.org/stable/modules/generated/sklearn.metrics.accuracy_score.html

9. CrossEntropyLoss
Torch Contributors
https://pytorch.org/docs/stable/nn.html#crossentropyloss

10. BCELoss
Torch Contributors
https://pytorch.org/docs/stable/nn.html#torch.nn.BCELoss

11. AWS GDPR Data Processing Addendum – Now Part of Service Terms
Chad Woolf. Published on May 22, 2018
https://aws.amazon.com/blogs/security/aws-gdpr-data-processing-addendum/

12. Navigating GDPR Compliance on AWS
Amazon Web Services, Inc. or its affiliates. Published in October, 2019
https://d1.awsstatic.com/whitepapers/compliance/GDPR_Compliance_on_AWS.pdf