Un nuevo estudio revela las principales diferencias entre los textos generados por humanos y los generados por IA
Investigadores de la Universidad Carnegie Mellon se propusieron comprobar hasta qué punto los grandes modelos lingüísticos (LLM) pueden reproducir los estilos de escritura humanos. Sus conclusiones, publicadas recientemente en la revista Proceedings of the National Academy of Sciences, ponen de manifiesto diferencias clave entre el texto generado por la IA y el escrito por humanos.
«Los humanos adaptan su estilo de escritura en función del contexto: a veces formal, a veces informal», explica Alex Reinhart, autor principal y profesor asociado del Departamento de Estadística y Ciencia de Datos. «Lo que descubrimos es que los LLM, como ChatGPT y Llama, tienden a escribir con un estilo fijo en lugar de adaptarse a diferentes contextos. Su escritura sigue siendo distinta del texto escrito por humanos, y pudimos cuantificar esto de una forma que no se había hecho antes».
Para analizar estas diferencias, los investigadores pidieron a los LLM extractos de diversos géneros, como guiones de televisión y artículos académicos. Utilizando una herramienta de análisis codificada a medida y desarrollada por el coautor David West Brown, profesor asociado del Departamento de Inglés, identificaron importantes variaciones gramaticales, léxicas y estilísticas entre la escritura humana y la de la IA.
Los modelos adaptados a las instrucciones, como ChatGPT, mostraron las diferencias más pronunciadas. Estos modelos, que se someten a un entrenamiento adicional para mejorar sus capacidades de respuesta a preguntas y seguimiento de instrucciones, utilizaron cláusulas de participio presente entre dos y cinco veces más que los escritores humanos. Por ejemplo, GPT-4o produjo frases como «Bryan, apoyándose en su agilidad, baila alrededor del ring, esquivando los fuertes golpes de Show».
Estructura textual de la IA: Más densa, con muchos sustantivos y menos adaptable
Además, los LLM recurrieron a nominalizaciones entre 1,5 y dos veces más que los humanos y utilizaron la voz pasiva sin agente con la mitad de frecuencia. Esto sugiere que el texto generado por la IA tiende a ser más denso, con más sustantivos y menos adaptable a distintos estilos de escritura.
Los LLM ajustados a la instrucción sobreutilizaron ciertas palabras en proporciones sorprendentes. ChatGPT utilizó «camaradería» y «tapiz» 150 veces más que los escritores humanos, mientras que los modelos Llama emplearon con frecuencia «inquietud». Ambos se apoyaron en palabras como «palpable» e «intrincado».
Brown resaltó las preocupaciones que suscita la enseñanza de la escritura, señalando que los escritores revisan constantemente, mientras que los LLM generan respuestas puntuales. Advirtió de que la IA está bien para tareas como las notas médicas, pero puede no ser adecuada para la escritura personal, como las solicitudes de empleo.
Reinhart advirtió sobre la posibilidad de que los estudiantes utilicen los LLM para realizar tareas, argumentando que son distintos de las calculadoras, que realizan las mismas operaciones matemáticas que los humanos. Los LLM no sólo automatizan la escritura, sino que la hacen fundamentalmente distinta.
El estudiante de doctorado Ben Markey está estudiando si los LLM proporcionan puntuaciones coherentes en los ensayos. El equipo pretende ampliar su investigación para comprender mejor el texto generado por IA y su papel en la escritura y la educación.
Read Original Article: TechXplore
Read More: AI Breakthrough Uncovers Hidden Signals in the Universe
