No vasto mundo da inteligência artificial (IA), o termo "caixas negras" tem tido um forte eco. É frequente encontrarmos esta expressão quando falamos de modelos de aprendizagem automática, mas o que é que ela significa realmente? Uma caixa negra é um sistema cujo funcionamento interno é opaco para o observador; sabemos o que entra e o que sai, mas o "como" permanece oculto. Esta analogia tem sido aplicada aos modelos de IA para exprimir o facto de os seus processos internos de tomada de decisão serem por vezes incompreensíveis para os seres humanos.
Porque é que este termo se tornou especialmente popular na comunidade da ciência dos dados? A resposta conduz a um interessante cruzamento entre a tecnologia e a perceção humana. Curiosamente, muitos dos primeiros popularizadores do termo eram pessoas com poucos ou nenhuns conhecimentos de programação. Este fenómeno não é uma coincidência: à medida que se deparavam com sistemas que produziam resultados impressionantes, mas cuja lógica interna era inacessível, nascia uma narrativa de admiração e, por vezes, de suspeita em relação a estas "máquinas misteriosas".
Mas será que é possível compreender o que estes modelos aprenderam? Sim, existem métodos e ferramentas especificamente concebidos para desvendar os mistérios destes modelos. Um exemplo proeminente são os valores de Shap, que nos permitem interpretar a contribuição de cada variável para a previsão de um modelo de aprendizagem automática.
Nesta imagem o que temos de deduzir é que quanto mais alto for o dado mais importante é na previsão, a cor refere-se ao impacto que tem no resultado, por exemplo para Latitude quanto mais pequeno for (mais vermelho à esquerda), maior é o valor do que queremos prever, caso diferente para AveRooms quanto mais vermelho for à direita, maior é o valor previsto.
O que vemos aqui é um gráfico de força, tudo o que está a vermelho empurra o valor previsto para ser grande e tudo o que está a azul influencia a previsão para ser mais pequena.
No domínio específico da aprendizagem profunda, as ferramentas de interpretação também avançaram significativamente. A biblioteca Grad-CAM ou VIZGRIDCAM, por exemplo, permite-nos visualizar as partes de uma imagem que mais influenciam a decisão de uma rede neural convolucional, fornecendo assim pistas visuais sobre o seu "pensamento". Resumindo, se eu tiver a tarefa de classificar um puma de um gato, a primeira dedução pode ser o tamanho, mas se for uma fotografia e eu não tiver as proporções do corpo, é aqui que estas ferramentas se tornam mais do que poderosas, porque com um mapa de calor diz-nos qual a área do corpo que temos de ver para encontrar essas diferenças.
Na linha de cima temos as imagens em bruto e na linha de baixo temos a mesma fotografia depois de a termos processado através desta biblioteca. Preste atenção ao mapa de calor, que nos diz em que área da imagem nos devemos concentrar para classificar cada um dos objectos que estamos a tentar detetar.
Além disso, para aqueles que preferem uma abordagem mais matemática, a investigação como a apresentada em Symbolic Neural Networks oferece métodos para traduzir redes neuronais complexas em equações compreensíveis.
E quanto aos modelos LML (Large Language Model), como o GPT? Aqui entramos num território ainda mais complexo e fascinante. Interpretar e compreender estes modelos representa um desafio diferente e será o foco da nossa próxima nota.
Comentários