Sí, parecen haber dado con la fórmula contra las falsificaciones escritas utilizando el chatbot.
Un grupo de investigadores de la Universidad de Kansas acaba de publicar un trabajo que podría ser revolucionario en los entornos de trabajo con IAs. El equipo detalla un algoritmo que, según dicen, detecta a la escritura académica de ChatGPT con una tasa de precisión superior al 99%.
Dicho de otra forma, parecen haber dado con la fórmula contra las falsificaciones escritas utilizando el chatbot. Un algoritmo desarrollado con la capacidad de detectar con una alta tasa de precisión si un artículo de investigación fue escrito por un modelo de generación de texto, como por ejemplo, el popular ChatGPT.
El trabajo, publicado en Cell Reports Physical Science, afirma que dicho algoritmo logró una precisión del 100 % en la detección de artículos de investigación escritos por IA.
Aunado a ello basándose en un conjunto de 30 artículos de investigación escritos por humanos y 60 artículos escritos por IA. De hecho, cuentan los autores que cuando se probó a nivel de párrafo, el algoritmo tuvo una precisión del 92 %.
De ser así, lo cierto es que la herramienta sería un avance sin precedentes, con una precisión que otros algoritmos diseñados para el mismo propósito no han alcanzado. El propio algoritmo de detección ChatGPT de OpenAI no es tan preciso.
¿Y cómo funciona? El estudio, que fue revisado por pares, seleccionó un conjunto de 64 artículos de investigadores científicos escritos por autores humanos en una variedad de disciplinas, desde biología hasta física.
Luego alimentaron esos datos a ChatGPT y los usaron para producir un conjunto de datos de 128 artículos de IA con un total de 1.276 párrafos “falsos” de chatbot.
Los investigadores usaron esos párrafos falsos para construir su algoritmo de detección ChatGPT. Finalmente, reunieron un nuevo conjunto de datos para probar su algoritmo con 30 artículos reales y 60 artículos escritos por ChatGPT, lo que suma 1210 párrafos en total.
El algoritmo detectó artículos completos escritos por ChatGPT el 100 % de las veces.
Eso sí, como decíamos, fue menos preciso (aunque aún impresionante) a nivel de párrafo: el algoritmo detectó el 92% de los párrafos de IA. Según Heather Desaire, autora del artículo y profesora de química en la Universidad de Kansas:
Nos esforzamos por crear un método accesible para que, con poca orientación, incluso los estudiantes de secundaria pudieran construir un detector de inteligencia artificial para diferentes tipos de escritura. Existe la necesidad de abordar la escritura de IA, y las personas no necesitan un título en informática para contribuir a este campo.
En definitiva, un gran avance, aunque no estará disponible para todos los ámbitos en breve. Por ejemplo, no funcionará de inmediato para los profesores de colegios o universidades buscando estudiantes que copian. El algoritmo se creó para la escritura académica, específicamente el tipo de escritura académica que se lee en las revistas científicas. Dicho esto, Desaire contó que en teoría se puede usar la misma técnica para construir un modelo que detecte otros tipos de escritura.
