Optimización de redes neuronales profundas mediante la destilación de conocimiento para una clasificación eficiente y sostenible de imágenes médicas

Abstract

El aprendizaje profundo ha transformado la medicina computacional; sin embargo, su implementación práctica sigue limitada por las elevadas exigencias de recursos computacionales, memoria y consumo energético. La creciente complejidad de los modelos de inteligencia artificial, que hoy alcanzan cientos de millones de parámetros y dependen de clústeres de GPU de alto rendimiento, dificulta su adopción en entornos con recursos restringidos, donde la latencia y la privacidad de los datos son factores críticos. El presente estudio tiene como objetivo desarrollar y validar una metodología que permita optimizar y comprimir redes neuronales profundas sin comprometer su desempeño predictivo, posibilitando así un despliegue eficiente y sostenible en dispositivos portátiles, sistemas periféricos y equipos médicos de bajo consumo energético. La técnica de Destilación del Conocimiento se empleó para transferir el conocimiento desde un modelo “maestro” robusto y de gran escala hacia un modelo “estudiante” más pequeño y eficiente. En este caso, DenseNet-121 actuó como modelo maestro y MobileNet-V2 como modelo estudiante. El modelo destilado MobileNet-V2 alcanzó un AUC-ROC de 0.865 con una desviación estándar de 0.0010, superando tanto al maestro (AUC-ROC 0.858; desviación estándar 0.0015) como al estudiante sin destilar (AUC-ROC 0.824; desviación estándar 0.0006) aplicando la estrategia Unos la cual fue la que mejores resultados obtuvo. El modelo maestro contenía 6.96 millones de parámetros (26.87 MB), mientras que el modelo estudiante utilizó 2.23 millones de parámetros (8.64 MB), logrando una reducción de tamaño de aproximadamente tres veces. Este modelo compacto ofreció una precisión comparable o superior, con menor tiempo de inferencia y consumo energético, lo que se alinea con los objetivos de sostenibilidad y facilita la adopción de inteligencia artificial médica robusta en entornos con recursos limitados. Código disponible en https://github.com/felixmejia/Knowledge_Distillation.

Ähnliche Arbeiten