Isidoro Garcia Garcia 
Ciencia y metaciencia.
La definición de ciencia, sus aspectos generales y fundamentales tales como la observación de fenómenos, formulación de hipótesis, realización de experimentos, formulación de leyes, etc. se pueden encontrar en muchas publicaciones y no pretendo, en estos momentos, abordar con detalle estos aspectos. No obstante, sí deseo resaltar, en el contexto de la experimentalidad, uno de sus aspectos clave, la reproducibilidad de los resultados por parte de diferentes investigadores; como dice (Cuéllar-Rodríguez, 2019), “un estudio científico que no sea reproducible deja de tener carácter científico ipso facto; podrá ser conocimiento hipotético, pero no será conocimiento científico”. Y en cuanto a la metaciencia, indica: “Podemos definir la metaciencia como la práctica de la metodología científica para estudiar el método científico y la filosofía de la ciencia; en otras palabras, la ciencia estudiándose a sí misma. Este término ha ido cobrando impulso en las últimas décadas, particularmente en el contexto de lo que ha sido denominada, discutiblemente, como la «crisis de reproducibilidad» de la ciencia.”
En unos momentos en los que continuamente se hace referencia a la ciencia o, más bien diría yo, que se utiliza con fines muy diversos y que afectan negativamente a ésta, intentando alejarla de lo que debe ser, me ha parecido procedente escribir este artículo.
La publicación en ciencia implica una serie de filtros que, en teoría, buscan que los resultados que se obtienen sean lo más rigurosos posible y que las conclusiones que se sugieren sean consistentes con dichos resultados; estas conclusiones pueden estar de acuerdo con el estado del conocimiento existente, pueden cuestionarlo frontalmente o pueden sugerir determinados cambios para corregirlo y/o ampliarlo. Una vez publicado un trabajo científico, la comunidad científica, inicialmente, le otorga un valor que depende del prestigio de la revista y, posteriormente, de una serie de indicadores que se vienen utilizando como “indicios” de calidad, indicadores que son también los utilizados para la valoración de la propia revista. Todo esto es susceptible de un amplio análisis que supera los límites de este artículo y que, frecuentemente, genera debates sobre la idoneidad o no de los mecanismos al uso para conseguir una medida, lo más objetiva posible, de la “calidad” de la investigación que se aporta y, por ende, del conocimiento nuevo que se propone.
Es importante recordar que los depositarios del estado del arte del conocimiento en la mayoría de las áreas científicas son las revistas especializadas en las que los grupos de investigación publican sus trabajos. Por ello, es de enorme importancia que lo que se publique en dichas revistas tenga un alto grado de fiabilidad, que pueda ser reproducible por otros investigadores y, desde luego, que no sean meras ocurrencias de los investigadores responsables.
Sin embargo, cuando se intenta comprobar, replicar investigaciones, parece que no es tan infrecuente que los resultados no coincidan con los publicados originalmente (Ioannidis, 2005; Camerer et al., 2018). Como no es de extrañar, esta realidad genera debates sobre los posibles sesgos que tiene el proceso de producción científica y en los que se hace referencia a incentivos estructurales inadecuados y a las tendencias de pensamiento y metodológicas de los propios investigadores. Todo ello, lógicamente, lleva, o puede llevar, a la literatura científica a la publicación de contenidos que se alejen de la búsqueda de la verdad y que no provengan de observaciones exactas o adecuadas. (Breznau et al., 2022) sugieren que las causas que dan lugar a los problemas de fiabilidad y repetitividad de las aportaciones científicas se deben, en gran medida, a la complejidad y ambigüedad inherentes con el proceso de análisis científico; y ello, admitiendo, o aceptando de entrada, que los autores siguen el método científico, tienen un alto sentido ético, tienen la formación adecuada y están libres de presiones, de cualquier tipo, para distorsionar su labor de manera que se prejuzgue una u otra dirección.
(Ioannidis, 2005), publica un artículo con un título “provocativo” (Why most published research findings are false – ¿Por qué la mayoría de los resultados publicados de investigación son falsos?) en el que aborda estos problemas. Se indica que se pueden encontrar refutaciones en todo un rango de diseños de investigación, desde estudios epidemiológicos clásicos hasta la más moderna investigación molecular. Incluso, indica que se pueden deducir una serie de corolarios sobre la probabilidad de que los resultados de una investigación sean verdaderos, véase el cuadro que sigue:
Como ejemplo de estos problemas, (Breznau et al., 2022) aborda un análisis muy interesante sobre las variaciones en las conclusiones a las que llegaban diversos grupos de investigadores trabajando sobre, exactamente, los mismos datos de partida. En ese estudio, se coordinó a 161 investigadores distribuidos en 73 equipos de investigación. De manera independiente, trabajando con la misma información inicial, se pretendía evaluar una hipótesis de investigación en ciencia social: el incremento en la inmigración reduce el apoyo que recibe el pueblo mediante políticas sociales. El estudio destaca la divergencia numérica a la que llegan los diversos grupos y diferencias sustantivas, por tanto, en sus conclusiones; además, estos resultados eran independientes de la experiencia de los investigadores, de sus creencias, opiniones o expectativas. Por lo tanto, parece, que esto pone de manifiesto un universo de incertidumbre que permanece oculto, incluso considerando un único problema o estudio. De hecho, muchas de las discusiones sobre los problemas de fiabilidad en ciencia se justifican por los sesgos sistemáticos que se pueden estar realizando. Los autores indican que es necesaria una mayor humildad y claridad a la hora de presentar sus resultados y, sobre todo, sus conclusiones.
El trabajo referido ha tenido y sigue teniendo una enorme repercusión si se considera el número de citas que está alcanzando (unas 7500 en estos momentos) así como diversas cartas al Editor de la revista (PNAS: Proceedings of the National Academy of Sciences of the Uninted States of America). En una de esas cartas (Camerer, 2022), una vez se discuten algunos aspectos técnicos sobre el trabajo previo, se finaliza con unos comentarios que me parecen muy interesantes para ser resaltados en un artículo como este y que, para los que la investigación en ciencia es una parte de nuestro trabajo, debemos tener muy en cuenta. Es realmente sorprendente que, a pesar de que la ciencia está abierta al análisis de diferencias, parece que algunos/muchos científicos no son inmunes a un aparente “falso consenso” que se puede expresar en diferentes momentos y formas, por ejemplo en los momentos en los que estamos analizando/evaluando los trabajos de otros, pero haciéndolo e imponiendo “jerárquicamente” nuestra visión, nuestras ideas sobre el asunto, las cuales consideramos que son “indiscutiblemente” ciertas desde y con el apoyo del citado “falso consenso”.
Parece necesario llevar a cabo mejoras que cuantifiquen y promuevan la transparencia, muy especialmente, en los procesos de revisión por pares si se tiene en cuenta la enorme importancia que ello tiene. En efecto, cada vez que se acepta un artículo se está contribuyendo a asignarle un sello de rigurosidad, fiabilidad, verdad, etc., tanto a los métodos que usa como a las conclusiones que propone, y se hace justo lo contrario, cuando se rechaza, tal vez injustamente.
En los estudios de metaciencia a los que estamos haciendo referencia, por ejemplo el de (Breznau et al., 2022), cualquiera de los resultados de investigación de los equipos que participaron y para los que se encontraron diferencias significativas en sus resultados y conclusiones, podrían haber sido publicaciones independientes, digamos robustas; entonces, ¿Cómo saber qué aproximación, metodología y conclusiones son las más próximas a la verdad? Si se tiene en cuenta que las revistas, los editores, tienen que hacer frente continuamente a una avalancha de trabajos que aspiran a ser publicados y en la que el número de rechazos es muy superior al de aceptaciones, el desafío y la responsabilidad que asumen es muy grande teniendo en cuenta, como se ha dicho antes, que este tipo de publicaciones son, hoy en día, los depositarios del conocimiento y de sus avances. La presión que tienen para tomar decisiones sobre la publicación o no de, seguramente, muy buenos artículos, y que se traslada también a los revisores, abre un amplio campo en el que concurren los sesgos editoriales, las rivalidades entre autores y revisores, redes de favoritismos y sabe Dios qué otros tipos de influencias para estar en el “sistema”. Entre todos los efectos que puede tener esto, (Camerer, 2022) hace especial referencia a que las decisiones que toman las editoriales van “guiando” (forzando, diría yo) a otros investigadores, especialmente los jóvenes, que tienen toda su carrera por delante, en la dirección que establecen los artículos ya publicados; el estrés, prisas, presiones con las que tienen que lidiar los jóvenes investigadores, dificulta mucho que critiquen lo ya publicado y, mucho más, que se planteen el estudio de nuevos problemas, nuevos paradigmas que pudieran alumbrar aportaciones realmente “rompedoras” con avances muy significativos de la ciencia; por el contrario, es más que probable que se opte por adherirse a ese “consenso”, lo que, casi con toda seguridad, garantiza una estabilización más pronta.
No me gustaría que este artículo se vea como una crítica a la ciencia, todo lo contrario, como se puede deducir de lo expuesto, la ciencia se intenta corregir continuamente a sí misma, eso es lo que busca la metaciencia. Gracias a la ciencia, hoy día, disfrutamos de un mejor conocimiento de la naturaleza y de sus recursos, lo que ha hecho posible avanzar en diferentes campos con grandes mejoras en nuestras vidas. Ahora bien, como cualquier otra actividad humana, la ciencia está expuesta a nuestras grandezas y a nuestras bajezas y, cuanto más avanza, más riesgo corre de que otros “personajes”, con la colaboración necesaria de algunos/muchos “científicos”, quieran utilizarla para fines dudosos.
De la misma forma que empecé el artículo, para casi terminarlo, me gustaría utilizar también palabras de (Cuéllar-Rodríguez, 2019): “Finalmente, a todas estas características de la ciencia debería añadirse la de la provisionalidad; es decir, la argumentación teórica y la demostración experimental de todo procedimiento científico deben estar sujetas a una revisión crítica continua. Nada en la ciencia, ni en ninguna otra forma de conocimiento racional, debería aceptarse como definitivo.”
Para finalizar, cuando oigan por ahí, especialmente en boca de profanos: “Eso es lo que dice la ciencia”, piensen en todo esto.
NOTAS _____________________
Breznau, N. et al. (2022) ‘Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty’, Proceedings of the National Academy of Sciences, 119(44), p. e2203150119. Available at: https://doi.org/10.1073/pnas.2203150119.
Camerer, C.F. et al. (2018) ‘Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015’, Nature Human Behaviour, 2(9), pp. 637–644. Available at: https://doi.org/10.1038/s41562-018-0399-z.
Camerer, C.F. (2022) ‘The apparent prevalence of outcome variation from hidden “dark methods” is a challenge for social science’, Proceedings of the National Academy of Sciences, 119(52), p. e2216020119. Available at: https://doi.org/10.1073/pnas.2216020119.
Cuéllar-Rodríguez, Santiago (2019) ‘Metaciencia: reflexiones sobre la reproducibilidad de la investigación en farmacología’, An Real Acad Farm. Volumen 85 Número 1, pp. 4–11. https://analesranf.com/articulo/8501_op01/
Ioannidis, J.P.A. (2005) ‘Why Most Published Research Findings Are False’, PLOS Medicine, 2(8), p. e124. Available at: https://doi.org/10.1371/journal.pmed.0020124.
