En el amplio mundo de la inteligencia artificial (IA), el término “cajas negras” ha resonado con fuerza. A menudo, al hablar de modelos de aprendizaje automático, nos encontramos con esta expresión. ¿Pero qué significa realmente? Una caja negra es un sistema cuyo funcionamiento interno es opaco para el observador; sabemos qué entra y qué sale, pero el “cómo” permanece escondido. Esta analogía se ha aplicado a los modelos de IA para expresar cómo, en ocasiones, sus procesos de toma de decisiones internos son incomprensibles para los humanos.
¿Por qué este término se ha popularizado especialmente en la comunidad de data science? La respuesta nos lleva a un interesante cruce de caminos entre la tecnología y la percepción humana. Curiosamente, muchos de los primeros divulgadores de este término eran personas ajenas a la programación o con un entendimiento superficial de ella. Este fenómeno no es casualidad: al encontrarse con sistemas que producían resultados impresionantes pero cuya lógica interna era inaccesible, nació una narrativa de asombro y, a veces, de suspicacia hacia estas “máquinas misteriosas”.
¿Pero se puede entender que es lo que aprendieron estos modelos? Si, existen métodos y herramientas diseñadas específicamente para desentrañar los misterios de estos modelos. Un ejemplo destacado son los valores Shap, que nos permiten interpretar la contribución de cada variable a la predicción de un modelo de machine learning.
En esta imagen lo que tenemos que deducir es mientras mas arriba este el dato importa mas en la predicción, el color hace referencia en como impacta en el resultado, por ejemplo para Latitud mientras mas chico sea( mas rojo hacia la izquierda), mas grande es el valor de lo que queremos predicir, caso diferente para AveRooms mientras mas rojo este hacia la derecha, mas alto es valor predicho.
Lo que aqui vemos es un grafico de fuerzas, todo lo que esta en rojo empuja para que el valor predicho sea grande y lo que esta en azul influye en tener un valor mas chico en la predicción
En el ámbito específico del deep learning, las herramientas de interpretación también han avanzado significativamente. La librería Grad-CAM o VIZGRIDCAM, por ejemplo, nos permite visualizar qué partes de una imagen influyen más en la decisión de una red neuronal convolucional, brindando así pistas visuales sobre su “pensamiento”. Este tipo de herramientas abre una ventana a la comprensión de cómo estas redes procesan y toman decisiones basadas en los datos.Para resumir si tengo la tarea de clasificar a un puma de un gato, la primera deducción puede se el tamaño pero si esta en una foto y no tengo proporcion de los cuerpos es aqui donde estas herramientas se vuelven mas que poderosas por que con un mapa de calor nos indica que zona del cuerpo tenemos que mirar para encontrar estas diferencias.
En la fila superior tenemos las imagenes crudas y en la fila de abajo tenemos la misma foto luego de haberla procesado por esta libreria, por favor prestemos atención en el mapa de calor, eso nos indica que en zona de la imagen focaliza para poder clasificar cada uno de los objetos que se pretende detectar.
Más aún, para quienes prefieren una aproximación más matemática, investigaciones como las presentadas en Symbolic Neural Networks ofrecen métodos para traducir las complejas redes neuronales en ecuaciones comprensibles.
¿Qué sucede con los modelos de Lenguaje de Gran Modelo (LLM) como GPT? Aquí nos adentramos en territorio aún más complejo y fascinante. La interpretación y comprensión de estos modelos representa un desafío distinto y será el tema central de nuestra próxima nota.
Comentarios