Disipando el espejismo de la comprensión: Las especificaciones formales de la inteligencia artificial: una falacia del MIT
El laboratorio Lincoln del MIT descubrió que, aunque las especificaciones formales proporcionan precisión matemática, no garantizan la comprensibilidad humana. A los participantes les resultaba difícil confirmar los comportamientos de la IA basándose en estas especificaciones, lo que ponía de manifiesto la brecha existente entre las afirmaciones teóricas y la interpretación práctica. El estudio subraya la necesidad de realizar evaluaciones realistas de la interpretabilidad de la IA.
Según investigaciones recientes, a pesar de las grandes esperanzas depositadas, las especificaciones formales no parecen ayudar a los sistemas autónomos a comunicarse eficazmente con los humanos.
Los sistemas autónomos y de IA cada vez están más presentes en la vida cotidiana, por lo que se están desarrollando nuevos métodos para verificar su comportamiento previsto. Uno de esos métodos, las especificaciones formales, traducen fórmulas matemáticas en expresiones legibles para el ser humano, y se afirma que esta técnica ayuda a explicar las decisiones de la IA.
Pero el Laboratorio Lincoln del MIT investigó para evaluar la interpretabilidad de las especificaciones formales. Contrariamente a lo que se afirmaba, sus conclusiones revelaron que los humanos tienen dificultades para interpretar estas especificaciones. En un estudio en el que los participantes evaluaron el plan de un agente de IA en un juego virtual utilizando especificaciones formales, la corrección se alcanzó en menos de la mitad de las ocasiones.
El MIT desacredita las Especificaciones Formales de la IA: el comportamiento de las máquinas
El investigador Hosea Siu, del Grupo de Tecnología de Inteligencia Artificial del laboratorio, explicó las implicaciones de sus hallazgos: ” Los resultados son decepcionantes para los investigadores que afirman que los métodos formales proporcionan interpretabilidad a los sistemas. Aunque esto pueda ser válido en determinados contextos confinados y teóricos, se queda corto en la validación práctica de sistemas”. El trabajo del grupo ha sido aceptado recientemente para su presentación en la Conferencia Internacional 2023 sobre Robots y Sistemas Inteligentes.
La interpretación es fundamental para fomentar la confianza en el comportamiento de las máquinas, ya que garantiza que los usuarios puedan discernir la necesidad de ajustes o confiar en la equidad de las decisiones tomadas por robots o IA en situaciones reales. La interpretabilidad es fundamental para fomentar la confianza en el comportamiento de las máquinas, ya que garantiza que los usuarios puedan discernir la necesidad de ajustes o confiar en la imparcialidad de las decisiones tomadas por robots o IA en situaciones reales. La inherente opacidad del proceso de aprendizaje automático suele traducirse en una incapacidad para explicar la toma de decisiones.
Como subraya Hosea Siu, las afirmaciones sobre la interpretabilidad de los sistemas de aprendizaje automático deben someterse al mismo escrutinio que las relativas a la precisión, por lo que es necesaria una mayor transparencia a la hora de justificar la interpretabilidad.
La expresión lógica y las pruebas matemáticas
Estos investigadores estudiaron si las especificaciones formales mejoraban la interpretabilidad del comportamiento de un sistema, centrándose en la capacidad de los usuarios para verificar si el sistema se ajustaba a sus objetivos. La especificación formal, utilizada principalmente para la expresión lógica y las pruebas matemáticas dentro de un sistema, se ha reutilizado para ayudar a la comprensión humana, salvando la distancia entre la lógica de un modelo y la comprensión humana.
En este sentido, Siu subraya el equívoco existente entre la precisión de las especificaciones formales y su interpretabilidad para el ser humano. El estudio reveló una falta de evaluaciones sobre la comprensión real de estos resultados por parte de las personas.
En el experimento, se encargó a los participantes, expertos y no expertos en métodos formales, que validaran un conjunto sencillo de comportamientos en un robot que jugaba a capturar la bandera. El objetivo era determinar si el robot cumplía sistemáticamente las reglas especificadas y se aseguraba la victoria.
Las especificaciones formales se entregaron a los participantes en tres formatos: como una fórmula lógica sin procesar, traducidas a expresiones de lenguaje más natural o presentadas como un árbol de decisiones, un formato que en la IA suele considerarse interpretable por los humanos.
Las especificaciones formales de la IA, desacreditadas por el MIT: Estudio
Sorprendentemente, el rendimiento de la comprobación en todos los tipos de presentación fue notablemente deficiente, rondando el 45% de precisión, lo que indica una lucha independientemente del formato de la información.
Según el estudio, las personas formadas en especificaciones formales sólo superaron ligeramente a los principiantes. Sorprendentemente, los expertos mostraron más confianza en sus respuestas, independientemente de la precisión. Confiaban demasiado en las especificaciones dadas y pasaban por alto reglas que podían provocar pérdidas en el juego, lo que suscitaba dudas sobre la validación del sistema al ignorar potencialmente los modos de fallo.
Los investigadores, sin embargo, no abogan por abandonar las especificaciones formales como medio para dilucidar el comportamiento de los sistemas. Por el contrario, subrayan la necesidad de mejorar el diseño en la presentación de estas especificaciones y su integración en los flujos de trabajo humanos.
Aunque reconoce que las personas versadas en métodos formales no están formadas específicamente para el tipo de especificaciones examinadas en el experimento. Por otra parte, anticipar todos los posibles resultados de un conjunto de reglas es todo un reto. Sin embargo, los conjuntos de reglas proporcionados a los participantes eran relativamente concisos, similares a un breve párrafo de texto, considerablemente más cortos que los que se encuentran en los sistemas reales.
El esfuerzo
El objetivo de Siu y su equipo es explorar las afirmaciones de interpretabilidad dentro de la lógica formal, eludiendo los vínculos directos con la validación de robots en el mundo real.
Como parte de su proyecto más amplio, Siu y su equipo pretenden mejorar las interacciones entre humanos y robots, especialmente en entornos militares. Este proyecto pretende ayudar a los operarios a entrenar directamente a los robots, de forma similar a como los humanos se enseñan unos a otros. Este enfoque podría reforzar la confianza de los operarios en los robots y su capacidad de adaptación.
Este equipo cree que su investigación mejorará la integración de la autonomía en la toma de decisiones humanas.
Aunque Siu insiste en la necesidad de que los humanos evalúen los distintos sistemas autónomos y conceptos de IA antes de hacer afirmaciones generalizadas sobre su eficacia en contextos humanos. Este enfoque cauteloso aboga por escrutar la utilidad de estas tecnologías en aplicaciones humanas prácticas.
Read the original article on scitechdaily.
Read more: Journal of Philosophical Logic.
