Estudo de ex-pesquisador da OpenAI sugere novo método para interpretar raciocínio da IA

O pesquisador independente Nick Cammarata, ex-integrante da OpenAI, publicou em 15 de outubro um estudo que propõe uma nova interpretação para o funcionamento interno das redes neurais de inteligência artificial. O trabalho sugere que a análise detalhada dos padrões de ativação de neurônios artificiais pode tornar os modelos compreensíveis para cientistas da computação.

A tese de Cammarata contesta a ideia de que agrupamentos de conceitos em um mesmo neurônio ocorrem de forma aleatória para economizar capacidade de processamento. No exemplo citado no estudo, a ativação de um único neurônio tanto por uma imagem de gato quanto pela frente de um carro indica a presença de uma característica visual comum, como formas triangulares, não percebida imediatamente por seres humanos.

Compreender essa estrutura interna é apontado por pesquisadores como um caminho para identificar comportamentos inesperados e mitigar riscos de segurança. O método tradicional de monitoramento utiliza explicações em linguagem natural fornecidas pelo próprio sistema, mas cientistas apontam que tais respostas nem sempre refletem o processo real executado pela máquina.

O cientista-chefe da OpenAI, Jakub Pachocki, afirmou recentemente que agentes automatizados podem ocultar seu raciocínio verbalizado à medida que avançam no pré-treinamento. Diante dessa limitação, o modelo teórico de Cammarata passa por testes na comunidade científica para avaliar se é capaz de explicar o comportamento de sistemas avançados.