Los chatbots ponen en crisis la generación de conocimiento

En un reciente editorial de la revista Nature* se discute la utilización de los llamados chatbots como asistentes de investigación, para ayudar a los cientificos y cientificas a organizar su pensamiento, generar comentarios sobre su trabajo, ayudarlos a escribir códigos y resumir la literatura de investigación.

Inventados a mediados de la decada del 60, los chatbots son generados mediante inteligencia artificial. Consisten en un software que simula una conversación real con una persona, gracias a una interfaz que se construye con palabras clave y se basa en interacciones que se repiten entre usuarios y marcas en sitios web. De esta manera, el bot es capaz de seguir una conversación con más o menos lógica, pero sin saber realmente de qué se está hablando.

El lanzamiento del chatbot de IA ChatGPT por la firma OpenAI en San Francisco, California, en noviembre de 2022 ha llevado las capacidades de dichas herramientas, conocidas tambien como modelos de lenguaje extenso (LLM), a una audiencia masiva. Es de uso gratuito y de fácil acceso aun para quiernes no tienen experiencia técnica. Actualmente esta siendo usado por millones de personas

ChatGPT puede escribir ensayos presentables de estudiantes, resumir trabajos de investigación, responder preguntas lo suficientemente bien como para aprobar exámenes médicos y generar código de computadora. Ha producido resúmenes de investigación tan buenos que a los científicos les resultó difícil darse cuenta de que habian sido escritos por una computadora. Por otro lado facilitan la producción de spam, ransomware y distintos tipos de sofware que se utilizan para manipular información.

En el ámbito científico y educativo están generando serios debates y la principal preocupación es que los estudiantes y los científicos puedan hacer pasar engañosamente el texto escrito por el LLM como propio, o usar los LLM de manera simplista (como para realizar una revisión bibliográfica incompleta) y producir un trabajo que no sea confiable.

¿Se puede reconocer facilmente un texto generado por LLM? Quizás actualmente todavía es posible, particularmente cuando se trata de más de unos pocos párrafos y el tema se relaciona con un trabajo científico. Esto se debe a que los LLM producen patrones de palabras basados ​​en asociaciones estadísticas en sus datos de entrenamiento y las indicaciones que ven, lo que significa que el texto puede parecer un poco incoherente y genérico, o contener errores simples. Además, aún no pueden citar fuentes para documentar los resultados. Sin embargo, es cuestión de tiempo para que las investigaciones en IA resuelvan estos problemas y ya hay algunos experimentos exitosos en esa dirección.

Algunas editoriales estan estableciendo reglas básicas sobre el uso ético de los LLM. Por un lado proponen no aceptar ninguna herramienta LLM como autor acreditado en un trabajo de investigación. Esto se debe a que cualquier atribución de autoría conlleva responsabilidad por el trabajo, y las herramientas de IA no pueden asumir tal responsabilidad. Por otro lado, exigen que los investigadores que utilizan herramientas LLM deban documentar este uso en las secciones de métodos o agradecimientos.

Sin embargo, estas reglas no parecen ser suficiente alternativa a los problemas que los LLM generan. La cuestión, consecuencia de la dinámica de la ciencia actual y del sistema que la impulsa, el capitalismo informacional, socava uno de sus proclamados pilares básicos: la idea de que se trata de una ciencia abierta y trasparente en relación con sus métodos, sus evidencias y con el manejo de la comunicación científica. Si el empleo de los chatbots se generaliza y los científicos comienzan a utilizar software que funciona de manera fundamentalmente opaca: ¿Cómo se podría mantener la transparencia y la confiabilidad en las que se basa el proceso de generación de conocimiento?

* Nature ( 613, 612 -2023) doi: https://doi.org/10.1038/d41586-023-00191-1

El autor es director de la revista Ciencia, Tecnología y Política. Integrante de la Red PLACTS