La revisión sistemática contada como una selección de personal
Una guía sin jerga para entender PRISMA, kappa, recall y todo lo que asusta de una revisión de literatura: cada término con su símil, y en cada paso qué hace la herramienta que construí para hacerla.
Si le pidieron una revisión sistemática y sintió que le hablaban en otro idioma, esta guía es para usted. Está escrita con un solo símil de principio a fin —un concurso para un cargo— porque es lo que me sirvió para explicársela a mis compañeros de doctorado y a mí mismo. Cada término de PRISMA aparece en negrita la primera vez, con su símil al lado. Y en cada paso digo qué hace ahí PRISMA Wizard, la herramienta que construí para hacer mi propia revisión; de ella hablo aparte, en un artículo que sale el 13 de octubre.
0. El símil madre
Imagine que le encargan contratar a la mejor persona para un cargo en el colegio. Puede hacerlo de dos maneras.
La primera: pregunta a conocidos, le cae bien alguien, lo contrata. Rápido, y nadie puede verificar nada. Eso es una revisión narrativa: leer mucho sobre un tema y resumir lo que a uno le pareció.
La segunda: publica la convocatoria con los requisitos antes de recibir una sola hoja de vida, recibe todas las que lleguen, las lee con los mismos requisitos en la mano, entrevista a los que pasan, llena la misma ficha para cada finalista, y al final presenta un acta donde cualquiera puede ver cuántos llegaron, cuántos salieron en cada filtro y por qué. Eso es una revisión sistemática: un estudio sobre los estudios, con un método que otra persona puede repetir y llegar a lo mismo.
PRISMA 2020 no es el método: es el formato del acta. Una lista de 27 cosas que el informe final debe declarar para que la revisión sea verificable. No dice a quién contratar; dice qué tiene que quedar escrito. Nació en medicina, pero se usa igual en educación.
Y PRISMA Wizard es la secretaría del concurso. No decide a quién contratar —eso es suyo—, pero lleva la carpeta con pestañas, recibe las hojas de vida y las sella con fecha, no deja que se pierda ninguna, le pone encima las que más prometen, le anota al lado de cada una por qué cumple o no cada requisito, y al final escribe el acta sola, con los números que cuadran. Tiene además un asistente con post-its (la IA) que sugiere, pero nunca bota nada: toda hoja de vida que el asistente marcó sigue en la carpeta hasta que usted la mire.
Con eso en la cabeza, los pasos.
1. Antes de recibir nada: el protocolo
Todo lo que se decide antes de ver resultados se llama protocolo: la pregunta, los requisitos y dónde se va a buscar. Es el aviso de la convocatoria publicado antes de abrir sobres. Si uno fija los requisitos después de ver quién llegó, ya no está seleccionando: está justificando a quien quería contratar.
Los grupos grandes lo depositan en PROSPERO (así, en mayúsculas y sin tilde: es la sigla en inglés del registro de la Universidad de York), un registro público con fecha: es notarizar el aviso para que nadie diga después que se cambió. Si a mitad de camino toca cambiar algo, se hace una enmienda: se cambia, se declara y se fecha, como avisar a todos los candidatos por escrito.
El Wizard aquí: los pasos 1 a 3 (proyecto, pregunta, criterios) son la convocatoria. Los criterios se guardan y, si los edita después, la app deja la enmienda con fecha y motivo. El informe final la imprime. Un jurado que pregunte «¿cambiaron las reglas a mitad de camino?» encuentra la respuesta.
1.1 La pregunta: PICO, SPIDER, PECO, PCC
Una pregunta suelta —«¿leer en voz alta en casa ayuda a los niños?»— no se puede buscar en una base de datos. Estas cuatro siglas son moldes de galleta: la masa es la misma (su interés), el molde la parte en piezas y cada pieza se vuelve palabras clave.
- PICO — Población, Intervención, Comparador, Outcome (resultado). El molde de la medicina: «¿en niños de 2.º de primaria (P), un programa de lectura en voz alta en casa (I) frente a la tarea habitual (C) mejora la comprensión lectora (O)?». Sirve cuando alguien interviene y se compara contra algo.
- PECO — igual, pero con Exposición en vez de intervención: nadie intervino, solo se observa a quien estuvo expuesto. «¿Los niños (P) que crecen en casas con libros (E) frente a los que no (C) leen mejor a los ocho años (O)?».
- SPIDER — Sample (muestra), Phenomenon of Interest (fenómeno), Design (diseño), Evaluation (qué se evalúa), Research type (tipo). El molde de quien estudia personas y significados, no dosis: familias de zonas rurales · la lectura compartida en casa · entrevistas y estudios de caso · sentidos y prácticas · cualitativo o mixto.
- PCC — Población, Concepto, Contexto. Para una revisión de alcance (scoping): cuando uno quiere un mapa de lo que hay, no un veredicto. «Familias · lectura compartida · primaria en Latinoamérica».
En el símil: PICO es la convocatoria de un hospital («enfermero con dos años en urgencias, para comparar contra el turno actual»); SPIDER es la de un colegio («docente con experiencia en aula rural, que evaluaremos por su práctica»); PCC es un censo («¿qué docentes de primaria hay en la región?»).
El Wizard aquí: el paso 2 le pregunta cuál molde y le ayuda a llenar las piezas; la IA puede proponer un primer borrador que usted corrige. De esas piezas salen los términos de la búsqueda del paso 4.
1.2 Los criterios
Los criterios de inclusión y exclusión son los requisitos del cargo: «título profesional y dos años de experiencia; no se aceptan sin cédula». Decididos antes, escritos, numerados (I1, I2… E1, E2…).
Un criterio ambiguo es «buena presentación personal»: cada jurado lo lee distinto, y cuando dos personas no coinciden en las decisiones, casi siempre el problema está aquí, no en las personas.
El Wizard aquí: paso 3. La sugerencia de la IA ya se justifica con sus criterios («viola E3»), no con una etiqueta genérica. Pero la decisión humana hoy se guarda con una razón genérica («revisado y decidido por el revisor»): que el revisor marque con un clic qué criterio aplicó es uno de los cambios pendientes, y es lo que de verdad permite responder «¿por qué excluiste este?» sin memoria.
2. Recibir las hojas de vida: identificación
2.1 Dónde se busca
Las bases de datos (Scopus, Web of Science, ERIC, Dialnet, SciELO) son bolsas de empleo: cada una tiene candidatos distintos. Quien publica el aviso en una sola se pierde a los demás. En educación hispanohablante buena parte de la producción está en Dialnet, SciELO o Redalyc, no en Scopus; y es normal que uno de cada diez artículos exista solo en una de las bases.
La ecuación de búsqueda es el aviso escrito en el lenguaje exacto de cada bolsa: bloques con AND (todo esto a la vez) y sinónimos con OR (cualquiera de estos). Cada base tiene su sintaxis, como cada bolsa tiene su formulario.
Los descriptores de tesauro (UNESCO, MeSH) son los nombres oficiales del cargo en el manual de funciones, no los apodos: si la base clasifica con «Enseñanza asistida por ordenador», hay que buscar con esa frase aunque nadie hable así.
El proxy institucional es la llave del edificio: la universidad compró la licencia de Scopus para su red, y el proxy pide las páginas en su nombre. La cuenta personal es la llave de su oficina —la necesita igual, para exportar.
2.2 Lo que no viene de las bases
Literatura gris (tesis, informes, actas) y búsqueda en cadena (snowballing: mirar la bibliografía de los buenos artículos) son los candidatos que llegaron por recomendación y no por la bolsa. PRISMA exige contarlos aparte, en su propia columna del diagrama.
Los registros identificados son las hojas de vida recibidas, contadas por bolsa: Scopus 473, Web of Science 168. Ese número es el arranque del acta y lo que permite verificar la revisión años después.
El Wizard aquí: paso 4 arma la ecuación por bloques y la traduce a la sintaxis de cada base; trae los descriptores de tesauro con su URI. Paso 5 importa los archivos exportados (CSV, RIS, BibTeX, el .txt de WoS) y guarda cada archivo con su huella SHA-256 —el sello de lacre: si alguien cambia una coma del archivo, cambia la huella, y así se prueba que el sobre es el mismo que se recibió. También registra las «otras fuentes» para la columna del diagrama.
3. Botar las repetidas: deduplicación
La misma persona manda su hoja de vida por dos bolsas. Deduplicar es quedarse con una y contar cuántas se botaron, porque el acta lo pide.
Hay dos tipos. El duplicado exacto comparte DOI (la cédula del artículo). El duplicado por similitud no comparte DOI pero es el mismo trabajo con el título escrito un poco distinto —la hoja de vida enviada con el nombre sin tilde—. Una hoja de cálculo ve los primeros; los segundos se le pasan y quedan contados dos veces.
El Wizard aquí: paso 6. Fusiona por DOI y por título parecido —en una revisión de mil registros de tres bases es normal que una de cada cuatro sea repetida—, y cada colapso queda en una hoja del Excel con fecha, cómo se reconoció y cuál se conservó. Los parecidos son los que Excel no ve.
4. Leer por encima: tamizaje por título y resumen
Ahora hay, digamos, 900 hojas de vida y hay que decidir, con los requisitos en la mano, cuáles merecen entrevista. Eso es el tamizaje (screening). Se lee el título y el resumen de cada una y se marca incluir / excluir / no sé. Es el paso más largo y el más aburrido: el que la gente hace mal por cansancio.
Lo ideal, según el método, es que lo hagan dos revisores por separado, sin verse (a ciegas), y después comparen. Es poner dos jurados a leer las mismas hojas de vida en cuartos distintos. Casi nadie tiene dos jurados.
4.1 Aquí es donde entra la IA, y donde está la pelea
Hay dos formas de meter una máquina en este paso, y son muy distintas.
Que ordene. El asistente no decide nada: le pone encima del montón las hojas de vida que más se parecen a las que usted ya aprobó, y va aprendiendo con cada decisión suya. Eso es aprendizaje activo: a las 20 decisiones el asistente sabe qué busca usted mejor que cualquier descripción escrita. Es lo que hace ASReview, la herramienta de Utrecht que es referencia en el área. Usted sigue leyendo todo; solo cambia el orden.
Que sugiera. El asistente lee cada resumen contra sus criterios y le pega un post-it: «cumple I2 e I3, viola E1, yo diría excluir, porque…». Eso es lo que hace un modelo de lenguaje (Claude, ChatGPT). Es más útil que ordenar —le da un argumento— y más peligroso: si la pantalla muestra «excluir» y un botón de confirmar, el clic es humano pero el razonamiento ya se fue.
De ahí salen las dos críticas que siempre se le hacen a la IA en revisiones, y las dos son ciertas: «la IA deja estudios relevantes por fuera» (cierta para cualquier sistema que reduzca lo que la persona lee) y «desplaza el juicio del investigador» (cierta cuando la persona firma veredictos en vez de tomarlos).
El Wizard aquí (pasos 7 y 8): hace las dos cosas, con una regla:
La IA ordena y argumenta. La persona lee y decide. Nada sale de la carpeta sin que un humano lo decida.
En la práctica: cada post-it del asistente se guarda marcado como
sugerencia (reviewer = llm). Mientras usted no lo confirme, ese
registro está retenido: no pasa a la siguiente fase, pero tampoco se
borra, y aparece contado en pantalla y en el diagrama. Es la hoja de vida con
post-it que el jefe todavía no ha mirado: sigue sobre el escritorio.
Y la app trae la segunda opinión a ciegas: como casi nadie tiene segundo jurado, la IA puede hacer ese papel, pero solo con las reglas de un jurado de verdad: no ve lo que usted decidió (si lo viera, tendería a darle la razón), revisa una muestra y no todo, y no cambia nada: devuelve la lista de desacuerdos y una medida de acuerdo. Lo que usted haga con cada desacuerdo es suyo.
4.2 Las medidas que suenan a estadística
Kappa de Cohen (κ) mide cuánto coinciden dos jurados descontando la suerte. Dos profesores que aprueban al 90 % de los exámenes coincidirán en unos 82 de cada 100 sin haber leído nada, solo por probabilidad; el acuerdo bruto engaña. Kappa resta esa suerte: 1 es acuerdo perfecto, 0 es lanzar monedas, y por debajo de 0,4 el problema suele ser un criterio ambiguo, no los jurados. En el Wizard, la segunda opinión a ciegas devuelve el kappa entre usted y la IA sobre la muestra.
Recall (sensibilidad): de todo lo relevante que existía, qué fracción encontró. En el colegio hay 8 estudiantes con problemas de visión; el tamizaje detecta 6: recall 75 %. Los 2 que no detectó son «los autores relevantes que quedaron por fuera». En revisiones el recall importa más que la precisión (de lo que marcó, cuánto era relevante): leer 50 irrelevantes de más es molesto; perder 1 relevante es grave.
Muestra estratificada y reproducible: para auditar no se revisan las primeras 10 facturas; se sacan al azar, unas de cada mes (estratificada), y se anota el procedimiento para que otro auditor saque exactamente las mismas (reproducible: misma semilla, misma muestra).
Regla de tres: si relee n exclusiones al azar y ninguna era relevante, con 95 % de confianza la tasa real de relevantes perdidos es menor que 3/n. Con 60 releídas y 0 relevantes: menos del 5 %. Es la forma más barata de ponerle un número al «se me quedaron por fuera», y ese número va al acta.
4.3 Lo que descubrimos al medirnos
Hay una forma de medir si un orden sirve: tomar una revisión ya terminada, esconder las decisiones, y ver en qué posición del orden calculado aparece cada relevante. Es el modo simulación de ASReview, la herramienta de referencia del área (Universidad de Utrecht). La medida que usa la literatura se llama WSS@95 (work saved over sampling), pero se entiende mejor sin el nombre: cuántas cajas hay que abrir para encontrar el 95 % de las monedas.
En el símil: hay 37 monedas escondidas en 725 cajas. En orden de llegada abre 705 cajas para encontrarlas casi todas. Si un ayudante le dice «abra primero estas» y las encuentra en 323, se ahorró casi 400 cajas. Pero la moneda 37 sigue en una caja cerrada.
Lo medimos donde la comunidad de ASReview mide sus propios modelos: tres revisiones ajenas y terminadas, de educación, de la colección pública SYNERGY, con las decisiones de sus revisores como referencia. Tres cosas salieron:
- Ordenar por palabras no sirve. El primer orden que traía el Wizard (un cálculo por coincidencia de palabras con los criterios) obligaba a leer casi todo el corpus, igual que en desorden. Es buscar «ingeniero» en una bolsa donde todos escriben «engineer». Se reemplazó por la receta de ASReview: aprende de cada «sí» y cada «no» que usted da y reordena lo que falta.
- En el orden, ASReview gana. Es la pieza que le copiamos, y el original la hace mejor: para llegar al 95 % necesita menos lecturas en los tres corpus (198 vs 214, 323 vs 464, 491 vs 535). Lo digo tal cual porque prefiero una tabla con la herramienta perdiendo que una comparación que nadie pueda repetir.
- Lo que ASReview no tiene es la IA que lee los criterios. ASReview arranca a ciegas: un «sí» y un «no» al azar. El Wizard puede pedirle a un modelo de lenguaje que lea la convocatoria y ponga un post-it a cada hoja de vida antes de la primera decisión. Solo con ese orden, al revisar el 25 % de la pila ya había aparecido el 92 % de las buenas (ASReview: 78–84 %). El valor de la IA está al principio, que es justo donde uno afina los requisitos. Es un piloto —un corpus, solo títulos— y así se declara.
Y una regla que vale para los dos: ningún orden autoriza a parar. Quien deje de leer al 20 % de la pila pierde monedas incluso con el mejor ayudante. Por eso el Wizard toma el orden de ASReview pero no su regla de parada («50 seguidas sin nada: pare»): ordena para leer mejor, no para leer menos. Si alguien para, el acta lo declara.
5. Entrevistar: elegibilidad a texto completo
Los que pasaron el tamizaje se leen enteros. Aquí PRISMA es estricta: cada exclusión lleva su razón, y los excluidos en esta fase se citan uno por uno en el informe. Es donde se ve si alguien descartó algo incómodo. En el símil: si no lo contrata después de la entrevista, deja escrito por qué.
El Wizard aquí (paso 9): se decide contra sus criterios, no contra una lista genérica; la razón queda en la fila; el lector de PDF con resaltado crea las citas con su página. El informe lista los excluidos con su motivo (esto estaba pendiente en la auditoría de agosto y es parte de los cambios).
6. La misma ficha para todos: extracción
De cada estudio incluido se sacan las mismas variables, definidas de antemano: objetivo, participantes, diseño, hallazgos. Es la ficha de entrevista con las mismas casillas para todos los finalistas; con esa matriz se escriben los resultados.
El Wizard aquí (paso 10): las columnas las define usted y se guardan en el proyecto; el informe imprime también la definición de cada columna, no solo los valores (PRISMA lo pide en el ítem 10).
7. Verificar que no mintieron: riesgo de sesgo
Un hallazgo de un estudio flojo no pesa lo mismo que uno de un estudio bien hecho. Riesgo de sesgo es verificar referencias: ¿el candidato exageró? Hay formatos de verificación distintos según el tipo de estudio, como hay formatos distintos para un contador y para un soldador:
- MMAT — estudios mixtos (cualitativo + cuantitativo), lo usual en educación.
- RoB 2 — ensayos clínicos aleatorizados.
- CASP y JBI — estudios cualitativos.
- Newcastle-Ottawa — estudios observacionales.
- Campbell — ciencias sociales.
Meta-análisis es sumar numéricamente los resultados de varios estudios: promediar las notas de todos los jurados. Solo tiene sentido si midieron lo mismo, y en educación casi nunca. GRADE es la pregunta final: con todo esto, ¿qué tan seguros estamos? Los ítems de PRISMA sobre estas dos cosas no aplican a una revisión cualitativa, pero el informe debe decir «no aplica y por qué», no callarlos.
El Wizard aquí (paso 11): siete herramientas según el diseño; y el informe declara qué ítems no aplican.
8. El acta: diagrama e informe
El diagrama de flujo PRISMA es el embudo: las recibidas → las que quedan sin repetidas → las que pasan a entrevista → las contratadas, con una columna aparte para los que llegaron por recomendación (la búsqueda en cadena) y otra para las que aún no se han leído, si el concurso va a medias. Los números tienen que cuadrar: es lo primero que un jurado revisa con el dedo.
El informe es el acta completa, con los 27 ítems. El ítem 8 es el que importa para nosotros: declarar cómo se hizo la selección —cuántos revisores, si fueron independientes y qué automatización se usó—. La nota del acta: «leyeron dos jurados por separado; se usó el software X para ordenar; ninguna decisión fue de la máquina».
El Wizard aquí (paso 12): el diagrama sale de los datos, con cuatro igualdades que tienen pruebas automáticas (nunca va a haber un número que no cuadre), y la caja «aún sin tamizar» se muestra en vez de esconderse: un diagrama honesto dice en qué punto está la revisión. El Word y el Excel se regeneran en un clic y llevan impreso el estado del momento. El informe declara que se usó IA, que no excluyó, y cuántas confirmaciones humanas hubo. Y la bitácora —el libro de actas del comité— guarda cada decisión, confirmación, enmienda e importación con fecha y usuario.
Modo manual: si no tiene clave de API, la app arma el texto para pegarlo en ChatGPT o Claude y lee la respuesta. Es llevar el documento a la fotocopiadora del vecino en vez de comprar una.
9. Lo que el Wizard todavía no cierra (para que no lo sorprendan)
En el símil, la secretaría es buena, pero hay puertas sin llave. Algunas se cerraron en septiembre, usándola en una revisión real de principio a fin; las cuento en el otro artículo con sus doce fallos. Las que siguen abiertas:
- Confirmar en bloque sin control. Si la IA marcó 500 «no» y usted los archiva con un clic, la regla se cumplió en la letra, no en el espíritu. Cierre: los «no sé» uno a uno, segunda opinión a ciegas antes de archivar, y releer 60 al azar con la cota impresa en el acta.
- El acta dice «se usó un modelo» sin decir cuál. Cierre: nombre, versión, texto del prompt; y en modo manual, un campo obligatorio.
- Los resúmenes viajan a una empresa cuando se usa API. Cierre: modelo local documentado, y el acta dice a dónde viajaron los textos.
- Hay un solo jurado humano. La IA a ciegas es un sustituto parcial y así se llama; nunca «segundo revisor».
- En el orden, todavía va detrás de ASReview. Cierre: tomar también su forma de balancear la muestra con la que aprende, y no dejar que el post-it de la IA se desvanezca a medida que el aprendizaje toma el mando.
Las que ya se cerraron: cuando usted contradice al asistente, el post-it ya no se pierde (el acta imprime cuántas veces le llevó la contraria a la IA); el orden por palabras se reemplazó; y cada hoja de vida dice ahora por qué está donde está en la pila.
10. Lo que el Wizard mejora y lo que no, frente a un grupo experimentado
Un grupo senior hoy: protocolo en PROSPERO, un bibliotecólogo diseña la ecuación en 3–6 bases, Rayyan o Covidence para tamizar, dos revisores a ciegas con kappa piloto, texto completo con razones, extracción por duplicado, y el checklist de 27 ítems al final.
Mejora real: la razón de cada decisión contra su criterio; las enmiendas fechadas dentro de la carpeta; el diagrama que cuadra solo; nada sale sin confirmación y lo no leído se cuenta; gratis, en español, todo en un sitio.
No es mejora: un revisor + IA a ciegas no reemplaza a dos humanos; en ordenar vamos detrás de ASReview; no hay validación publicada —una revisión de prueba, una real en curso y la comparación en tres corpus públicos.
La frase que resume el lugar del Wizard: ASReview responde «¿qué leo primero?»; Rayyan, «¿cómo tamizamos entre varios?»; el Wizard, «¿cómo hago una revisión que pueda defender ante un jurado, solo, y con la IA a la vista?». Toma el orden de ASReview, le añade un asistente que argumenta cada hoja de vida contra los requisitos propios, y deja todo el concurso en una sola carpeta, en español, con la razón de cada decisión escrita y el acta que cuadra.
Si quiere ver la secretaría por dentro —las pantallas, lo que descubrí al medirla y los doce fallos que mi propia revisión le encontró—, ese es el artículo del 13 de octubre. Y si está haciendo una revisión y quiere probarla con su corpus, escríbame: le abro una cuenta a cambio de que me diga dónde se rompe.
Comentarios (0)
- Sé el primero en comentar.