Midiendo las Métricas de Similitud

Un nuevo estudio introduce un marco cuantitativo para evaluar las métricas de similitud representacional, herramientas esenciales en neurociencia e IA. Estas métricas permiten comparar cómo diferentes modelos procesan la información, pero hasta ahora faltaba una forma sistemática de comparar su eficacia.

La investigación se centra en la capacidad de estas métricas para distinguir entre familias de modelos, incluyendo CNNs, Vision Transformers, Swin Transformers y ConvNeXt, entrenados tanto de forma supervisada como auto-supervisada. Utilizando tres medidas de separabilidad (d-prime, coeficientes de silueta y ROC-AUC), evalúan la capacidad discriminativa de métricas comunes como RSA, predictividad lineal, Procrustes y soft matching.

El Poder de la Separación

Los resultados revelan que la capacidad de separación aumenta a medida que las métricas imponen restricciones de alineación más estrictas. Entre los métodos basados en mapeo, el soft matching logra la mayor separabilidad, seguido del alineamiento de Procrustes y la predictividad lineal. Sorprendentemente, métodos sin ajuste como RSA también muestran una fuerte capacidad de separación entre familias de modelos.

Implicaciones para el Futuro

Este marco proporciona la primera comparación sistemática de métricas de similitud a través de una lente de separabilidad. Esto no solo clarifica su sensibilidad relativa, sino que también guía la elección de la métrica más adecuada para comparaciones a gran escala entre modelos de IA e incluso entre modelos y el cerebro humano, abriendo nuevas vías para la investigación en neurociencia computacional. El trabajo permitirá una mejor comprensión de cómo diferentes arquitecturas de IA representan la información y cómo se relacionan con los procesos cognitivos.