Skinive Análisis comparativo 2021 – 2022

Autores: Kirill S, Viktor S.

1. Introducción

Las enfermedades de la piel son la causa más común de todas las enfermedades humanas. Esta patología afecta a casi 900 millones de personas en el mundo [1]. Se conocen más de 3000 enfermedades cutáneas en todo el mundo. El cáncer de piel es actualmente el tipo de neoplasia maligna más frecuente en la población blanca. Especialmente el melanoma es el cáncer de piel con peor pronóstico [2]. El melanoma y el cáncer de piel no melanoma muestran una tasa de incidencia creciente en todo el mundo. En Europa se esperan tasas de incidencia de 40-50/100.000 habitantes/año en las próximas décadas [3]. Las enfermedades cutáneas suponen una carga financiera, socioeconómica y psicológica para la comunidad. Además, la patología cutánea supone una carga para los médicos generalistas y especialistas. Según estudios estadísticos, el número medio de dermatólogos en los países europeos no es suficiente. Es de sólo 5 por cada 100.000 habitantes [4].

Es necesario adoptar medidas para detectar antes las enfermedades cutáneas. El punto prometedor es la aplicación de tecnologías de aprendizaje automático. Así lo confirma Chui, que demostró que en medicina es posible automatizar el 36% de las funciones. Especialmente en los niveles de recopilación y análisis de datos [5]. De particular importancia en el desarrollo de dicha automatización es la elaboración de aplicaciones móviles. Las apps son herramientas muy convenientes para el uso rutinario y generalizado en la práctica clínica.

Las aplicaciones para teléfonos móviles se utilizan ampliamente en dermatología. Dado que el componente visual de las enfermedades de la piel puede digitalizarse fácilmente con la cámara de un teléfono móvil. A continuación, la imagen puede analizarse mediante algoritmos de aprendizaje automático para determinar la patología . En función de los resultados obtenidos, el usuario recibe recomendaciones sobre las medidas a tomar.

El potencial de las apps para la detección de enfermedades de la piel mediante IA es especialmente relevante en periodos de estados epidemiológicos desfavorables. Por ejemplo, en la pandemia de COVID-19, cuando las consultas médicas en persona son inaccesibles y la prestación de servicios sanitarios a distancia reviste especial importancia [6].

1.1 El uso de la inteligencia artificial en dermatología

Las posibilidades del aprendizaje automático profundo en el reconocimiento de enfermedades cutáneas y el diagnóstico diferencial son inspiradoras. Demuestran su capacidad para ayudar a los médicos en su práctica diaria. Dichas soluciones triajean los casos para priorizar la atención clínica, ayudan a los no dermatólogos a iniciar la atención dermatológica con mayor precisión. Por último, mejoran potencialmente el acceso a la atención necesaria.

La precisión del diagnóstico de las enfermedades cutáneas entre médicos generalistas (MG) y dermatólogos es significativamente diferente. Por ejemplo, el estudio demostró que la precisión en el reconocimiento del melanoma entre los médicos de cabecera es sólo de 0,49-0,80. Entre los dermatólogos este indicador alcanza el 0,49-0,80. Entre los dermatólogos este indicador alcanza el 0,85-0,89 [7].

Otro estudio comparó la precisión del reconocimiento de patologías cutáneas entre un algoritmo de aprendizaje automático y profesionales médicos [8]. El estudio muestra que la precisión de los diagnósticos de la red neuronal es del 90% (para los tres primeros resultados). Esto indica que la precisión de los algoritmos de aprendizaje automático puede ser comparable a la de los dermatólogos. Es significativamente superior a la de los médicos de atención primaria.

A pesar de sus evidentes ventajas, el uso de productos informáticos para resolver tareas tan importantes como la detección de enfermedades cutáneas es objeto de críticas. El argumento de los críticos es una sensibilidad y especificidad dudosas, así como la falta de un enfoque estandarizado de las pruebas entre los fabricantes, que es un requisito previo para una evaluación objetiva. La introducción de este tipo de soluciones en la práctica clínica sólo es posible si se dispone de una red neuronal bien entrenada [9]. Esto implica una serie de actividades, como la creación de conjuntos de datos de entrenamiento y validación, el reentrenamiento periódico de la red neuronal, la mejora de la carcasa exterior para un uso cómodo de la aplicación móvil por parte del usuario final, y otras [10].

La ilustración del rendimiento en la mejora de la red y los resultados obtenidos puede verse en la red neuronal Skinive.

2. Materiales y métodos para el estudio de la Precisión Skinive

2.1. Características de la red neuronal Skinive

El algoritmo Skinive es un modelo de redes neuronales dermatológicas full-convolutional pre-entrenadas y un software de aplicación del entorno de redes neuronales, que se encuentran en una nube segura y se integran con aplicaciones (web, móvil y otro software) mediante un servicio API.

El algoritmo Skinive es la tecnología clave de aplicaciones similares y es un modelo de redes neuronales dermatológicas preentrenadas y software de aplicación del entorno de redes neuronales, que se encuentran en una nube segura y se integran mediante un servicio API.

La precisión de los algoritmos de reconocimiento Skinive mejora constantemente gracias a la reposición sistemática de la base de datos con imágenes de patología cutánea, así como a la mejora del algoritmo de procesamiento. Cada imagen, antes de ser enviada para el entrenamiento del algoritmo, es probada clínicamente por un dermatólogo. Gracias a la estrecha colaboración con instituciones médicas, algunos de los casos utilizados para mejorar la precisión de la prueba diagnóstica del software cuentan con confirmación histológica.

2.2. Mejora de la red neuronal Skinive en 2022

Desde enero de 2022 hasta julio de 2022, la red neuronal Skinive ha experimentado una serie de mejoras tanto técnicas como clínicas.

En el marco del programa «ELISE«, para mejorar las capacidades de la red neuronal, se llevaron a cabo los siguientes trabajos: se añadió el módulo de imágenes faciales (con el fin de filtrar los datos personales antes del procesamiento) y el módulo que determina la idoneidad para el procesamiento de imágenes (para mejorar la precisión general) y se amplió el conjunto de datos de entrenamiento a 54 604 imágenes de patologías cutáneas.

Además, se ha ampliado la lista de patologías reconocidas por la red neuronal Skinive. Se ha prestado especial atención a grupos de patologías como la dermatitis y el eczema. Estas patologías no son menos relevantes que las neoplasias o las infecciones cutáneas. Deterioran considerablemente la calidad de vida del paciente y requieren un diagnóstico a tiempo.

Además de la dermatitis, en 2022 se hizo posible diferenciar el Versicolor entre otras lesiones cutáneas fúngicas, así como el nevus acral entre las neoplasias cutáneas pigmentadas. Estas afecciones requieren un enfoque diferente en la práctica clínica.

Así pues, el número total de imágenes del conjunto de datos de formación Skinive para el tercer trimestre de 2022 es de 164.142 fotos de patologías cutáneas. El número de patologías cutáneas reconocibles ha alcanzado las 51 (Tabla 1).

Cuadro 1 – Clases de patologías reconocidas

El principio fundamental del trabajo en 2022 fue la mejora no sólo cuantitativa, sino también cualitativa de los datos. Todos los datos que se utilizaron en el entrenamiento de la red neuronal se sometieron a una comprobación multinivel para verificar el cumplimiento de la calidad de la imagen y la interpretación inequívoca por parte de los expertos médicos.

En julio de 2022 se llevó a cabo un trabajo a gran escala que permitió obtener nuevos datos sobre los resultados de la precisión del reconocimiento de patologías cutáneas mediante la red neuronal Skinive 3.0.

2.3 Formación del conjunto de datos de validación para estudiar la precisión de Skinive

Para determinar la precisión del algoritmo Skinive, se preparó especialmente un conjunto de datos de validación formado por 25.688 imágenes de patología cutánea. Pero las imágenes incluidas en el conjunto de datos de validación no se utilizaron para entrenar la red neuronal. Cada imagen fue evaluada por un dermatólogo y un oncólogo para determinar la correspondencia de la patología representada con una determinada clase, teniendo en cuenta los resultados del examen histológico.

La estructura del conjunto de datos de validación está formada de acuerdo con la estructura del conjunto de datos de entrenamiento, con la excepción de la dermatitis y el eczema. Las dos últimas clases no se incluyen en el conjunto de datos de validación, ya que su reconocimiento por la red neuronal Skinive no fue posible hasta 2022, y el número total de fotografías de estas enfermedades no nos permitió aislar un conjunto de datos de validación separado en volumen suficiente para evaluar adecuadamente la precisión.

El conjunto de datos de validación incluye 7 clases de enfermedades cutáneas. Para mayor claridad, en la Tabla 2 se muestra una descripción detallada del conjunto de datos de validación.

Tabla 2 – Conjunto de datos de validación de Skinive

Este conjunto de datos de validación se utilizó en el análisis de la precisión en 2021, lo que permitió determinar la dinámica de crecimiento de los indicadores de sensibilidad y especificidad.

Para determinar la sensibilidad del algoritmo se utilizaron grupos de enfermedades cutáneas como Acné y Rosácea, Papuloescamosas, Micosis, Enfermedades víricas, Herpes, Premalignas + Malignas.

Para determinar la especificidad del algoritmo se utilizaron 20982 imágenes de neoplasias cutáneas benignas.

2.4. Seguridad de los datos

El complejo de hardware y software está construido sobre soluciones de Amazon Web Services y es una serie de servidores virtuales inaccesibles desde el exterior, interconectados por soluciones basadas en varios productos y soluciones de software, como Docker, Amazon Elastic Container Services.

Skinive no almacena ninguna información de identificación personal que pueda utilizarse para identificar a un usuario específico. La identificación del usuario se realiza mediante un token generado aleatoriamente que se almacena en el dispositivo y con el que se accede a la aplicación. Los datos almacenados son impersonales y no tienen ninguna ruta que pueda ser asignada al usuario real del sistema. Las imágenes gráficas enviadas al servidor por el usuario se someten a un procedimiento de anonimización mediante la eliminación de toda la información del servicio de imágenes (cabeceras EXIF, etc.).

Los servicios de registro de la infraestructura almacenan información sobre errores de aplicación fatales, la dirección IP original de la solicitud, el nombre de la función llamada y la versión del software del usuario.

Resultados de la precisión Skinive

El conjunto de datos de validación utilizado se formó en 2021 para realizar pruebas internas de la precisión de la red neuronal Skinive. Los resultados se conservaron y nunca se publicaron.

Tras enviar los conjuntos de datos de validación generados para su análisis al algoritmo Skinive en 2022, se obtuvieron los siguientes valores de sensibilidad y especificidad para cada una de las clases analizadas (Tabla 3):

Tabla 3 – Resultados de precisión de la red neuronal Skinive para 2022 y comparación con resultados similares para 2021

En este caso, la sensibilidad se determinó como la relación entre el número de casos de patología cutánea correctamente determinados por el algoritmo (acné y rosácea, papuloescamosas, micosis, enfermedades víricas, herpes, premalignas + malignas) y el número de todos los casos confirmados clínicamente, respectivamente. Es decir, este valor muestra la proporción de casos verdaderos positivos, aquellos casos que son identificados correctamente por el algoritmo de riesgo. Cuanto mayor sea la sensibilidad, menor será la probabilidad de que el algoritmo pase por alto una patología cutánea de alto riesgo.

La especificidad en el informe de exactitud Skinive se definió como la relación entre el número de casos de neoplasias cutáneas benignas identificadas correctamente por el algoritmo y el número de todas las neoplasias benignas confirmadas clínicamente. Este valor muestra la proporción de casos verdaderos negativos (aquellas situaciones en las que no existen riesgos elevados en la fotografía). En consecuencia, cuanto mayor sea la especificidad, menor será la probabilidad de predicción errónea de patología maligna donde no existe, y se recibirán menos «falsas alarmas».

Matriz de errores del Skinive

Para comprender visualmente los errores del algoritmo e identificar la tendencia al reconocimiento incorrecto por parte de la red neuronal, se elaboró una matriz de errores (tabla 4), que refleja la distribución de respuestas correctas (por sensibilidad) y errores entre clases de nosologías.

Tabla 4 – Matriz de errores por clase de enfermedad

Designación: La celda verde indica una predicción correcta del nivel de riesgo.

En la tabla 5 se muestran la sensibilidad, la especificidad y el porcentaje de errores globales del algoritmo Skinive:

Tabla 5 – Indicadores globales del algoritmo Skinive para 2021 y 2022

4. Discusión de la precisión de Skinive

Gracias a todo el complejo trabajo realizado en la red neuronal Skinive, fue posible obtener un aumento de los indicadores de sensibilidad y especificidad para casi todas las clases estudiadas de neoplasias y enfermedades cutáneas.

Por ejemplo, la sensibilidad a la detección de neoplasias precancerosas y malignas en 2021 fue del 82,6%, mientras que en 2022 fue del 96,3% (+13,7%), lo que muestra un aumento significativo de la sensibilidad.

Los resultados obtenidos permiten afirmar que el conjunto de medidas encaminadas a la mejora de la red neuronal Skinive se refleja en la mejora de la precisión del algoritmo en el reconocimiento del cáncer de piel. Un reconocimiento oportuno y preciso permite un tratamiento más eficaz de esta patología. Obviamente, es esta patología la que tiene mayor relevancia y trascendencia desde el punto de vista de la preservación de la vida y la salud de la población.

También se observa un aumento significativo de la sensibilidad para otras clases de patología cutánea (acné y rosácea, papuloescamosas, micosis, enfermedades víricas y herpes) de +3 a +10%.

Los resultados muestran que la red neuronal de Skinive es más sensible a la patología cutánea y menos propensa a pasar por alto situaciones en las que el paciente realmente necesita atención médica o un examen más detallado mediante otras herramientas (dermatoscopia, biopsia seguida de examen histológico).

Aunque la especificidad general del algoritmo ha disminuido, cabe destacar un aumento significativo de la especificidad en el reconocimiento de enfermedades benignas: en 2021 fue del 93,0%, en 2022 – 98,2% (+5,2%). Sobre la base de esta dinámica, la red neuronal de Skinive se ha vuelto menos propensa a las «falsas alarmas». Gracias a esta característica, el uso de la red neuronal de Skinive reducirá el número de visitas injustificadas al médico y, al mismo tiempo, reducirá la carga indebida de los profesionales médicos.

Análisis de la matriz de errores

Un análisis detallado de la matriz de errores muestra entre qué enfermedades y con qué frecuencia surgen las mayores dificultades para el algoritmo Skinive en el diagnóstico diferencial de neoplasias y enfermedades cutáneas. Estos valores pueden considerarse un resultado clave para planificar nuevos trabajos de mejora de la red neuronal Skinive y aumentar la precisión del algoritmo para nosologías individuales.

De la matriz de errores se desprende que el mayor porcentaje de errores en el reconocimiento de la patología cutánea se observa en el par «Benigno» y «Premaligno + Maligno»: 5.9%. El análisis de errores mostró que la red neuronal atribuyó erróneamente el nevus displásico a nevus benigno. En efecto, con una comparación visual (Figura 1) pueden surgir dificultades en el diagnóstico diferencial de estos casos.

Figura 1: Comparación de macrofotografía de un nevus pigmentado y displásico

Estas situaciones clínicas requieren un diagnóstico diferencial más preciso, que incluya dermatoscopia o biopsia con examen histológico.

El indicador Miss Rate

El indicador «Miss Rate» confirma la disminución del número de patologías cutáneas no detectadas. Así, en 2021 fue del 7,0%, en 2022 – 1,8% (-5,2%). Es decir, el número de conclusiones erróneas («falsas esperanzas») se ha reducido significativamente. En términos absolutos, el número de falsos negativos disminuyó de 328 a 86. En la Tabla 6 se presenta un análisis más detallado de los falsos negativos para las enfermedades cutáneas.

Cuadro 6: Análisis comparativo de la tasa de fallos para 2021 y 2022

Сomparando la tasa de fallos para 2021 y 2022 en el informe de precisión Skinive, se hace evidente una tendencia global a la disminución del número de interpretaciones erróneas en el reconocimiento de la patología cutánea. Además, esta comparación permite constatar la dinámica y el acierto del vector de los trabajos en curso de mejora de la red neuronal.

Los cambios más positivos se produjeron en la clase Premaligno + Maligno. El número total de errores en 2021 fue del 17,4%, mientras que en 2022 fue sólo del 3,7% (-13,7%). Entre las demás clases, este indicador disminuyó de -3,4 hasta -10,4%.

Dada la relevancia del reconocimiento oportuno y fiable de los riesgos de patología cutánea, con el tiempo, esta tendencia indica una posibilidad real de utilizar la red neuronal Skinive en la práctica clínica.

5. Conclusiones

En 2022, el conjunto de datos sobre el que se entrenó el algoritmo Skinive se incrementó en más de 50.000 fotografías de patología cutánea. Una característica clave de todas estas fotografías fue que la gran mayoría de ellas (90-95%) se realizaron con la cámara de un smartphone sin el uso de ópticas externas u otros medios especiales (por ejemplo, dermatoscopios).

Al mismo tiempo, los resultados del análisis de la precisión de la red neuronal Skinive 3.0 (entrenada en 2022 sobre un total de más de 160.000 imágenes) muestran un aumento significativo de la sensibilidad (identificación correcta de la patología cutánea cuando se requiere atención médica) de la red neuronal y de la especificidad (determinación correcta de neoplasias benignas cuando no se requiere atención médica) en comparación con 2021.

La adición del módulo de calidad de imagen permitió la detección temprana de imágenes de baja calidad, mejorando así la calidad de las imágenes recogidas para los conjuntos de datos, lo que afectó directamente a la precisión final del algoritmo.

Dado que en 2022 el algoritmo Skinive se centró en las fotos tomadas con el móvil, puede afirmarse que esta red neuronal se ha adaptado mejor a la práctica clínica real con la cámara de un smartphone. Ciertamente, los dispositivos móviles con una aplicación Skinive instalada pueden ser utilizados por los médicos de atención primaria para examinar la patología cutánea con gran confianza. Así lo confirma la significativa disminución del número de pasajes erróneos de patología cutánea cuando son reconocidos por la red neuronal Skinive.

Referencias

1. Andrews’ diseases of the skin: clinical dermatology. James WD, Berger TG, Elston DM, Odom RB. Saunders Elsevier; 2006.
2. Current state of melanoma diagnosis and treatment. Davis, L.E.; Shalin, S.C.; Tackett, A.J. Cancer Biol. Ther. 2019, 20, 1366–1379. https://doi.org/10.1080/15384047.2019.1640032
3. Epidemiology of skin cancer. Ulrike Leiter, Thomas Eigentler, Claus Garbe. PMID: 25207363. DOI: 10.1007/978-1-4939-0437-2_7
4. Augustin M, Reusch M, Augustin J, Wagner T, Kämpfe S. European dermatology health care survey. Short report. 2013 (https://www.dermasurvey.eu/wp-content/uploads/eu-derma-health-care-survey-2013-short.pdf)
5. Chui M, Manyika J, Miremadi M. Where machines could replace humans – and where they can’t (yet) (https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/where-machines-could-replace-humans-and-where-they-cant-yet)
6. Chatterjee, P., et al. The 2019 novel coronavirus disease (COVID-19) pandemic: A review of the current evidence. Indian J Med Res. 2020 Feb & Mar;151(2 & 3):147-159;]), as well as in remote areas [[04]. Health service provision in rural and remote areas: a needs analysis. P Dunne, C Patterson, M Kilmartin, M Sladden. PMID: 8028543. DOI: 10.5694/j.1326-5377.1994.tb127349.x
7. Michael DC, Judy W. Agreement between dermatologists and primary care practitioners in the diagnosis of malignant melanoma: review of the literature. J Cutan Med Surg. Sep-Oct 2012;16(5):306-10
8. Liu, Y., et al. A deep learning system for differential diagnosis of skin diseases. Nat Med 26, 900–908 (2020). https://doi.org/10.1038/s41591-020-0842-3
9. Deep Learning Approaches for Prognosis of Automated Skin Disease. Pravin R. Kshirsagar, Hariprasath Manoharan, S. Shitharth, Abdulrhman M. Alshareef, Nabeel Albishry, and Praveen Kumar Balachandran. doi: 10.3390/life12030426. PMCID: PMC8951408. PMID: 35330177
10. Machine Learning and Its Application in Skin Cancer. Kinnor Das, Clay J. Cockerell, Anant Patil, Paweł Pietkiewicz, Mario Giulini, Stephan Grabbe and Mohamad Goldust. PMCID: PMC8705277. DOI: 10.3390/ijerph182413409