Las revisiones de literatura científica son una parte fundamental para avanzar en los campos de estudio: proporcionan el estado actual del arte a través de un análisis exhaustivo de investigaciones existentes e identifican brechas de conocimiento donde futuros estudios podrían enfocarse. Sin embargo, escribir un artículo de revisión bien hecho es una tarea compleja.
Los investigadores a menudo revisan grandes volúmenes de trabajos académicos. Deben seleccionar estudios que no estén desactualizados, pero evitando caer en sesgos de actualidad. Luego viene el trabajo intensivo de evaluar la calidad de los estudios, extraer datos relevantes de los trabajos seleccionados, analizar los datos para obtener información y escribir una narrativa coherente que resuma el pasado mientras mira hacia el futuro. La síntesis de investigación es un campo de estudio por sí mismo, y ni siquiera los mejores científicos garantizan escribir revisiones literarias excelentes.
Entra en escena la inteligencia artificial (IA). Al igual que en muchas industrias, ha surgido un grupo de startups que busca aprovechar la IA para acelerar, simplificar y revolucionar el proceso de revisión de literatura científica. Muchas de estas startups se posicionan como motores de búsqueda de IA centrados en investigación académica, cada una con características distintivas de productos y audiencias objetivo.
Elicit invita a los buscadores a “analizar trabajos de investigación a velocidad sobrehumana” y destaca su uso por expertos en instituciones como Google, NASA y el Banco Mundial. Scite dice haber construido la base de datos de citas más grande al monitorear continuamente 200 millones de fuentes académicas, y ofrece “citas inteligentes” que categorizan las conclusiones como evidencia de apoyo o contrastante. Consensus presenta una demostración en su página principal que parece estar destinada a ayudar a personas no especializadas a obtener una comprensión más robusta de una pregunta específica, describiendo el producto como “Google Scholar se encuentra con ChatGPT” y ofreciendo un medidor de consenso que resume las conclusiones principales. Estos son solo algunos ejemplos entre muchos.
¿Pero puede la IA reemplazar una revisión científica sistemática de alta calidad?
Los expertos en síntesis de investigación tienden a estar de acuerdo en que estos modelos de IA son actualmente excelentes al realizar análisis cualitativos. En otras palabras, crear un resumen narrativo de literatura científica. Donde no son tan buenos es en la capa cuantitativa más compleja que hace que una revisión sea verdaderamente sistemática. Esta síntesis cuantitativa generalmente involucra métodos estadísticos como el meta-análisis, que analiza datos numéricos de múltiples estudios para llegar a conclusiones más sólidas.
“Los modelos de IA pueden ser casi un 100 por ciento tan buenos como los humanos al resumir los puntos clave y escribir un argumento fluido”, dice Joshua Polanin, cofundador del Centro de Métodos de Síntesis e Integración (MOSAIC) en el Instituto Americano de Investigación. “Pero no estamos ni al 20 por ciento del camino en la síntesis cuantitativa”, señala. “Un meta-análisis real sigue un proceso estricto sobre cómo buscar estudios y cuantificar resultados. Estos números son la base para conclusiones basadas en evidencias. La IA no está ni cerca de poder hacer eso”.
El problema de la cuantificación
El proceso de cuantificación puede ser difícil incluso para expertos capacitados, explica Polanin. Tanto los humanos como la IA generalmente pueden leer un estudio y resumir la conclusión: El Estudio A encontró un efecto, o el Estudio B no lo encontró. La parte complicada es asignar un valor numérico al alcance del efecto. Además, a menudo existen diferentes formas de medir efectos, y los investigadores deben identificar estudios y diseños de medición que se alineen con la premisa de su pregunta de investigación.
Polanin comenta que los modelos primero deben identificar y extraer los datos relevantes, y luego deben tomar decisiones matizadas sobre cómo compararlos y analizarlos. “Incluso como expertos humanos, aunque intentamos tomar decisiones de antemano, podrías terminar cambiando de opinión sobre la marcha”, dice. “Eso no es algo que una computadora pueda manejar bien”.
Dada la arrogancia que a menudo se encuentra en torno a la IA y en la cultura de startups, uno podría esperar que las empresas que construyen estos modelos de IA protesten las evaluaciones de Polanin. Pero no obtendrás un argumento contrario de Eric Olson, cofundador de Consensus: “No podría estar más de acuerdo, sinceramente”, dice.
En referencia al punto de Polanin, Consensus está diseñado intencionadamente para ofrecer información “a un nivel más general que algunas otras herramientas, brindando un conocimiento básico para obtener ideas rápidas”, agrega Olson. Ve al usuario típico como un estudiante de posgrado: alguien con una base de conocimientos intermedia que está trabajando para convertirse en un experto. Consensus puede ser una herramienta más para un verdadero especialista en la materia, o puede ayudar a un no científico a mantenerse informado, como un usuario de Consensus en Europa que sigue de cerca la investigación sobre la rara enfermedad genética de su hijo.
“Había pasado cientos de horas en Google Scholar como no investigador. Nos dijo que había soñado con algo así durante 10 años, y le cambió la vida—ahora lo utiliza todos los días”, dice Olson.
En Elicit, el equipo apunta a otro tipo de cliente ideal:
“Alguien que trabaja en la industria en un contexto de I+D, tal vez dentro de una empresa biomédica, tratando de decidir si avanzar con el desarrollo de una nueva intervención médica”,comenta James Brady, jefe de ingeniería.
Con ese usuario de alto riesgo en mente, Elicit muestra claramente a los usuarios reclamos de causalidad y la evidencia que los respalda. La herramienta descompone la tarea compleja de revisión de literatura en piezas manejables que un humano puede entender, y también proporciona más transparencia que un chatbot promedio: los investigadores pueden ver cómo el modelo de IA llegó a una respuesta y compararlo con la fuente.
El futuro de las herramientas de revisión científica
Brady está de acuerdo en que los modelos de IA actuales no están proporcionando revisiones sistemáticas de estilo completo como las de Cochrane, pero dice que esto no es una limitación técnica fundamental. Más bien, es una cuestión de avances futuros en IA y mejor ingeniería de prompts.
“No creo que haya algo que nuestros cerebros puedan hacer que una computadora no pueda, en principio”, dice Brady. “Y eso también aplica al proceso de revisión sistemática”.
Roman Lukyanenko, profesor de la Universidad de Virginia especializado en métodos de investigación, coincide en que un enfoque importante en el futuro debería ser desarrollar formas de respaldar el proceso inicial de prompts para obtener mejores respuestas. También señala que los modelos actuales tienden a priorizar artículos de revistas que son accesibles gratuitamente, a pesar de que mucha investigación de alta calidad se encuentra detrás de muros de pago. Aun así, está optimista respecto al futuro.
“Creo que la IA es tremenda—revolucionaria en muchos niveles—para este espacio”, dice Lukyanenko, quien junto a Gerit Wagner y Guy Paré coescribió un estudio en 2022 antes de ChatGPT sobre la IA y la revisión de literatura que se hizo viral. “Tenemos una avalancha de información, pero nuestra biología humana limita lo que podemos hacer con ella. Estas herramientas representan un gran potencial”.
El progreso en ciencia a menudo proviene de un enfoque interdisciplinario, dice, y aquí es donde la IA puede tener el mayor potencial.
“Tenemos el término ‘hombre del Renacimiento’, y me gusta pensar en la ‘IA del Renacimiento’: algo que tiene acceso a una gran parte de nuestro conocimiento y puede hacer conexiones”, dice Lukyanenko. “Deberíamos impulsarla fuertemente para hacer descubrimientos fortuitos, no anticipados y distantes entre campos”.
