Source: https://www.teseopress.com/reesargentinaleydeeducacion/chapter/capitulo-9-la-evolucion-de-la-ciencia-la-crisis-del-sistema-internacional-de-revistas-cientificas-y-propuestas-de-politicas/
Timestamp: 2019-11-15 06:12:35+00:00

Document:
La evolución de la ciencia, la crisis del sistema internacional de revistas científicas y propuestas de políticas | La Ley de Educación Superior
9 La evolución de la ciencia, la crisis del sistema internacional de revistas científicas
y propuestas de políticas
El 16 de diciembre de 2012, en el contexto de la Reunión Anual de la Sociedad Americana de Biología Celular (BCSV) de los Estados Unidos, se realizó una reunión de directores y editores de importantes revistas académicas. En la misma se emitió la Declaración de San Francisco de Evaluación de la Investigación. Allí se señaló que hay una necesidad apremiante de mejorar la forma en que los resultados de la investigación científica son evaluados por las agencias de financiación, instituciones académicas y otras.
La crítica principal estuvo centrada en la utilización del “factor de impacto” de las revistas.
a) la distribución de citas en revistas está muy sesgada;
b) las propiedades del índice de impacto son específicas del campo científico considerado: es una combinación de varios tipos de artículos, muy diversos, incluyendo artículos de investigación primaria y opiniones;
c) los índices de impacto se pueden manipular de acuerdo con la política editorial, y
A partir de este diagnóstico el documento realiza una serie de recomendaciones:
la necesidad de eliminar el uso de métricas basadas en revistas, tales como el índice de impacto de revistas, en la financiación, en los nombramientos y en las consideraciones de promoción;
la necesidad de evaluar la investigación por sus propios méritos y no en base a la revista en que se publica la investigación, y
El tema se potenció cuando el 11 de diciembre de 2013, al recibir el Premio Nobel de Medicina, el biólogo norteamericano Randy Schekman emitió una fuerte declaración, donde señalaba, entre otras cosas:
Es habitual, y muchas revistas lo fomentan, que una investigación sea juzgada atendiendo al factor de impacto de la revista que la publica. Pero como la puntuación de la publicación es una media, dice poco de la calidad de cualquier investigación concreta. Además, las citas están relacionadas con la calidad a veces, pero no siempre. Un artículo puede ser muy citado porque es un buen trabajo científico, o bien porque es llamativo, provocador o erróneo. Los directores de las revistas de lujo lo saben, así que aceptan artículos que tendrán mucha repercusión porque estudian temas atractivos o hacen afirmaciones que cuestionan ideas establecidas. (…) Hay una vía mejor, gracias a la nueva remesa de revistas de libre acceso que son gratuitas para cualquiera que quiera leerlas y no tienen caras suscripciones que promover. Nacidas en Internet, pueden aceptar todos los artículos que cumplan unas normas de calidad, sin topes artificiales. (…) Los patrocinadores y las universidades también tienen un papel en todo esto. Deben decirles a los comités que toman decisiones sobre las subvenciones y los cargos que no juzguen los artículos por el lugar donde se han publicado. Lo que importa es la calidad de la labor científica, no el nombre de la revista. Y, lo más importante de todo, los científicos tenemos que tomar medidas. Como muchos investigadores de éxito, he publicado en las revistas de renombre, entre otras cosas, los artículos por los que me han concedido el Premio Nobel de Medicina, que tendré el honor de recoger mañana. Pero ya no. Ahora me he comprometido con mi laboratorio a evitar las revistas de lujo, y animo a otros a hacer lo mismo.
Estas declaraciones tienen dos direcciones centrales. Por un lado, cuestionan el dominio de las editoriales comerciales en el control de las revistas científicas por las deformaciones que ello provoca en el proceso de evaluación y de sus costos para los investigadores. Por otro, apuntan a negar validez al “factor de impacto” de las revistas científicas que se miden en el ISI controlado actualmente por la agencia también privada Thomson Reuters. Este cuestionamiento surge de la evidencia directa de las distorsiones que provoca este indicador, lo que ha sido tratado extensamente en la literatura sobre el tema. Sin embargo, es generalmente desconocido el origen del ISI, la forma arbitraria en que se organizó el Science Citation Index y la forma específica en que por razones estrictamente comerciales ello se plasmó, con la colaboración activa de un sector de la comunidad científica y la pasividad y sujeción de la gran mayoría de los científicos y de las autoridades de ciencia y técnica de muchos países. Para eso hay que remontarse a los debates e iniciativas previos existentes en relación con los sistemas de organización de la información científica.
Los antecedentes sobre sistemas de organización de la información científica. Los aportes desde la historia de la ciencia
Asociada al crecimiento constante del desarrollo científico, surgieron desde distintas disciplinas esfuerzos para introducir criterios para organizar la información científica. Desde la psicología, la sociología y la historia de la ciencia, y desde ramas auxiliares como la bibliotecología y el manejo de documentación se realizaron estos procesos en paralelo.
Los primeros esfuerzos sistemáticos para medir el desarrollo científico fueron realizados por el biólogo suizo Alphonse de Candolle, que en 1873 publica Histoire des sciences et des savants depuis deux siècles, d’après l’opinion des principales académies ou sociétés scientifiques. Se trata de una historia de los miembros de tres sociedades científicas, de Londres, París y Berlín, donde trata de identificar a los hombres que han hecho aportes sustanciales a los avances de la ciencia, identificando dieciocho factores sociales responsables de esta performance.
Reaccionando a este estudio, el británico Francis Galton publica en 1874 English Men of Science. Aplica allí una encuesta a 180 miembros de la Royal Society en la que les demanda información sobre antecedentes familiares, escolaridad y las motivaciones para ser investigador. Galton trata de demostrar el peso decisivo de la herencia que hace a estas familias reproductoras de grandes hombres a través de la trasmisión directa del genio. Si bien sus estudios han sido analizados por sus consecuencias en el desarrollo de la teoría de la eugenesia, que plantea la selección artificial para mejorar la raza y que tuvo gran repercusión social y política, los temas planteados en la encuesta han mantenido actualidad en los estudios sobre los científicos.
James Mc Keen Cattell, psicólogo norteamericano que se forma como tal en la Universidad de Leipzig, Alemania, donde realiza sus estudios de posgrado, conoce a Wilhelm Wundt, del cual fue su asistente. Junto a Wundt ayuda a establecer el estudio de la inteligencia. En esa época Cattell se convierte en el primer estadounidense en publicar una disertación en el campo de la psicología, tratando de la investigación en el ámbito de la psicometría, trabajando con Galton los temas de diferencias individuales y de herencia.
En Estados Unidos Cattell impulsa la difusión de la psicometría y realiza sus primeros estudios estadísticos en 1906, en que aparece su publicación American Men of Science. Utiliza como indicadores del desarrollo científico la existencia de hombres de ciencia relevantes. Retiene el concepto de productividad de Galton asociado a los nombres de los científicos que produce una nación, una región o una universidad. También acuña el concepto de desempeño definido como las contribuciones científicas significativas a la ciencia. Estos dos conceptos, productividad y desempeño, asociados directamente a la medición de la cantidad y la calidad. Observa así una concentración geográfica en la producción de científicos, que provienen de algunos estados, algunas ciudades y algunas universidades. Al igual que Galton, analiza los antecedentes familiares y señala que son favorables a la generación de científicos, y recomienda apoyar la mejora en la reproducción de la especie. En sus estudios muestra por primera vez el costo de un hombre de ciencia a partir de sus salarios. Invita a los estudiantes a apreciar la calidad de los profesores universitarios al elegir las universidades. Sus estudios tuvieron importante repercusión sobre la medición de la ciencia, se comenzó a pensar en los nombres de los científicos y en sus publicaciones. De alguna forma están en el origen de la cientometría.
Pero quien a principios del siglo XX se encontraba a la vanguardia de los estudios sobre la historia y la sociología de la ciencia era Rusia. El geoquímico Vladimir Vernadskii inició esta tradición en 1893. En 1902 dio en la Universidad de Moscú el primer curso sobre la historia de la visión científica moderna del mundo. En 1921 crea el primer instituto a nivel mundial sobre la historia de la ciencia y la tecnología dentro de la Academia de Ciencias de Rusia, denominado Comisión sobre la Historia del Conocimiento. En los años 20 se desarrollan los estudios sociales denominados науковедение (naukovedeniye, ciencia de la ciencia) que comprenden la sociología, la gestión y la organización de la ciencia. El análisis realizado por Vernadskii sobre la evolución del pensamiento científico y la visión científica del mundo, así como sus estudios sobre la estructura de la ciencia, representan una contribución muy importante. Muchas páginas de sus obras están dedicadas a los problemas filosóficos fundamentales de la ciencia natural. Hizo hincapié en que el siglo XX es un período caracterizado por la ruptura de los conceptos básicos de la misma.
Con el fuerte apoyo del secretario de la Academia de Ciencias Sergey Feodorovitch Oldenburg, especializado en geografía y etnografía, que ejercía ese cargo desde 1901, se realizaron entre 1921 y 1934 encuestas estadísticas y de organización de la ciencia de gran valor. Entre las propuestas debatidas por los investigadores se discutieron reformas a las publicaciones y el mejoramiento de las operaciones de indización para los sistemas de recuperación de información, incluyendo el uso de primitivas computadoras, y el desarrollo de criterios cuantitativos para evaluar la eficacia de la investigación científica.
En 1929 la Academia de Ciencias fue directamente subordinada al control del Partido Comunista, y Vernadskii fue reemplazado como director de la Comisión de Historia del Conocimiento por Nikolái Bujarin. En 1931 esta comisión se convirtió en el Instituto de Historia de la Ciencia y la Tecnología.
Paralelamente se desarrollaron importantes esfuerzos en Polonia y desde 1928 se realizaron numerosas reuniones para debatir sobre naukosnawstwo (ciencia de la ciencia). Con este nombre María Ossoswska y Satanislaw Ossowski publicaron en 1936 el programa del grupo de científicos que trabajaba en esta temática en la revista Organon, por ellos creada. Destacaban la unicidad de la cultura científica, que era lo que posibilitaba el surgimiento de la ciencia de la ciencia. La invasión de Polonia por los nazis impidió hasta después de la Segunda Guerra la continuidad de trabajo de esta corriente científica.
Desde otra perspectiva, después de la Primera Guerra Mundial, que generó impulsos a la investigación y planteó dramáticas alternativas para el desarrollo de la humanidad, se intensificaron las especulaciones de los científicos y las fantasías de los escritores sobre distintos senderos que se vislumbraban en los bordes de la acumulación de conocimiento existente.
En Inglaterra se generaron distintas polémicas, algunas se desarrollaron en el seno de la National Union of Scientific Workers (Unión Nacional de Trabajadores Científicos), asociación profesional constituida en 1918 que en 1927 tomaría el nombre de Asociación de Trabajadores Científicos (Association of Scientific Workers), impulsada por los biólogos John Burdon Sanderson Haldane y Julian Huxley, y el escritor Herbert George Wells (difundido como H.G. Wells). Se debatieron en su interior temas de la ciencia, con la participación de otros científicos ingleses, como John Desmond Bernal y Bertrand Russell. Dada la relevancia que la ciencia había asumido durante la Primera Guerra Mundial, los investigadores planteaban crear un Ministerio de Ciencia y Tecnología, generar una política científica nacional y el planeamiento de la investigación. Con el tiempo, el liderazgo pasó a manos del físico J. D. Bernal y la polémica arrastró a epistemólogos como Michael Polanyi y Karl Popper.
La organización de los científicos europeos interesados en la problemática se materializó al concretarse el Primer Congreso Internacional de Historia de la Ciencia. El lugar en donde se llevó a cabo este evento fue el Centro Internacional de Synthèse (Hôtel de Nevers, 12, Rue Colbert, París 2). En la sesión del comité de Historia de la Ciencia se decidió establecer una comisión para organizar el II Congreso de Historia de la Ciencia que debía tener lugar en Londres en 1931. La comisión estuvo compuesta por Charles Singer como presidente, Aldo Mieli como secretario perpetuo del Comité, y H. W. Dickinson como secretario del Museo de Ciencia, South Kensington, lugar elegido para el II Congreso. En el Consejo del Comité Internacional de Historia de las Ciencias fueron elegidos Charles Singer, Gino Loria, Florian Cayori, Abel Rey, Karl Sudhoff, Henry Sigerist y Aldo Mieli. El temario del Congreso era: 1. la enseñanza de la historia de la ciencia, 2. la ciencia como parte integral de la historia general, 3. las interrelaciones actuales e históricas entre física y biología, y 4. la interdependencia entre la ciencia pura y la ciencia aplicada.
Este II Congreso adquiriría gran importancia por el impacto producido por la presencia de una gran delegación de científicos de la Unión Soviética bajo la dirección del economista Nikolai Bujarin,[1] una de las figuras centrales de la Revolución Rusa y destacado intelectual. Las exposiciones impactarían fuertemente a los científicos ingleses. La delegación de científicos soviéticos viajó a Londres para las reuniones que se desarrollaron entre el 29 de junio y el 4 de julio de 1931. Componían la delegación el físico A. F. Yoffe, director del Instituto Físico-Técnico de Leningrado, el economista Modest Yosofovich Rubinstein, el neurofisiólogo Boris Mijailovich Zavadovsky (director del Museo de Biología y del Instituto de Fisiología K. A. Timiriazev), el filósofo Arnost Kolman, el genetista Nikolai Ivanovich Vavílov (presidente de la Academia Lenin de Agricultura), el físico Wladimir Feodorovich Mitkévich y el filósofo e historiador de la ciencia Boris Mijailovich Hessen. La delegación organizó en Londres el “plan de cinco días”, como lo llamó el periodista del Manchester Guardian, James Gerald Crowther, en el que se tradujeron todas sus ponencias al inglés y se realizó la célebre edición especial para el Congreso titulada “Science at the Cross Roads” (La ciencia en la encrucijada). La delegación estaba interesada en presentar todas las ponencias, por lo que se amplió en un día el congreso y el sábado 4 de julio se hizo una sesión especial. Los delegados soviéticos desarrollaron desde el materialismo histórico sus análisis.
Pero fue Boris Hessen el que ofreció en Londres lo que puede considerarse el primer estudio exhaustivo de historia social de la ciencia desde el punto de vista marxista. Llevaba por título “Las raíces sociales y económicas de los Principia de Newton”. Con estudios de ciencias en la Universidad de Edimburgo y numerosos trabajos sobre física, era partidario de las ideas de Deborin de que las nuevas teorías de la física tuvieran cabida dentro del materialismo histórico. Esta corriente enfrentaba a los llamados mecanicistas que se oponían a las nuevas teorías de la física como expresión del idealismo burgués. En 1928 Hessen publica su obra Ideas fundamentales de la teoría de la relatividad, en donde realiza una síntesis divulgativa, dentro de las coordenadas del materialismo dialéctico, de las teorías de Einstein. En 1930 fue nombrado director del Instituto de Historia de la Física de la nueva Facultad de Física de la Universidad Estatal de Moscú (MGU), y se convirtió en el primer decano de la Facultad de Física de dicha universidad (de 1930 a 1936).
La presentación de Hessen en el Congreso tenía dos partes, una de las cuales tiene que ver con el análisis concreto, histórico, de la ciencia newtoniana, donde los problemas fundamentales girarán en torno a la cuestión del internalismo y del externalismo en la historia de la ciencia. Mientras que hay una segunda parte, en la que cuestiones sobre la concepción del materialismo dialéctico y del materialismo histórico conectan a Hessen con los debates políticos y filosóficos de la época que tenían lugar en la URSS. Esta es la obra fundacional de la historia de la ciencia marxista. Con este trabajo Hessen abrió el camino hacia los estudios sociales de la ciencia e inspiró gran parte de la disciplina hoy llamada Ciencia, Tecnología y Sociedad.
Este trabajo de Boris Hessen sirvió de inspiración teórica a toda una serie de historiadores y sociólogos de la ciencia cercanos al marxismo, entre los que destacan John Desmond Bernal, Joseph Needham, Lancelot Hogben, Benjamín Farrington, Gordon Childe, J. G. Crowther, Charles Percy Snow, Julian Huxley, P. M. Blakckett, Christopher Hill, John Haldane, S. F. Mason. Aunque autores como Merton lo consideraron un pionero, tanto los críticos como la corriente abierta por Merton convirtieron a Hessen en el “padre del externalismo”. Hessen habrá de ser desde entonces, para la historia social de la ciencia del siglo XVII y para el enfoque sociológico de la ciencia en general, un pionero indiscutible.[2]
Para John Desmond Bernal, el congreso de Londres fue la primera gran confrontación de ideas ocurrida desde la Revolución de Octubre (Bernal, 1931). De hecho, la delegación rusa encontró un terreno abonado en Londres. Económicamente, estaban sufriendo las graves consecuencias de la crisis económica, no solo desde el punto de vista del trabajo, paro masivo, etc., sino también por sus consecuencias en el trabajo científico, que vio mermadas las subvenciones estatales. El grupo de científicos británicos más conocido, comprometido con las ideas de izquierdas, vio en aquellas nuevas ideas una posible solución a estos problemas. Como dice Bernal, la delegación soviética dejó en el aire una importante e irreversible pregunta para todos los científicos: “¿Qué es mejor: ser intelectualmente libres pero socialmente totalmente ineficaces, o formar parte de un sistema donde conocimiento y acción vayan unidos hacia un propósito social común?”.
Bernal tendría un rol protagónico en el estudio social de la ciencia y una gran influencia en quienes impulsaron el desarrollo de la cienciometría. En primer lugar Bernal fue un destacado científico, en 1924 determinó la estructura molecular del grafito. En su grupo de investigación en Cambridge, Dorothy Crowfoot Hodgkin dio sus primeros pasos en cristalografía, labor por la cual se le concedería el Premio Nobel de química en 1964. En 1934, Bernal y Hodgkin tomaron las primeras fotografías de rayos X de cristales proteicos. A partir de 1923 fue miembro del Partido Comunista de Gran Bretaña. Según sus biógrafos, su ideología le supuso que nunca se le otorgara el Premio Nobel, aun a pesar de que varios de sus discípulos y compañeros de investigación fueron laureados.
Su libro The Social Function of Science, publicado en 1939, fue decisivo en la formación de los investigadores que avanzarían en la medición de los avances científicos. Bernal además de ser uno de los primeros estudiosos en hablar de la necesidad de una “cuantitativa ciencia de la ciencia”, defendió la planificación de la actividad científica en la solución de los problemas sociales y planteó un cambio radical en el modelo de publicación de los artículos científicos.
Con el estallido de la Segunda Guerra Mundial en 1939, Bernal se incorporó al Ministerio de Seguridad para el Hogar, donde se reunió con Solly Zuckerman para llevar a cabo los primeros análisis adecuados de los efectos del bombardeo enemigo y de las explosiones para los animales y las personas. Fue el inventor (conjunto) de los llamados puertos prefabricados Mulberry, que se usaron en el desembarco de Normandía. Después del famoso “Día D”, Bernal desembarcó en Normandía al día siguiente. Su amplio conocimiento de la zona se debía a una mezcla de investigación por su cuenta en bibliotecas inglesas y al hecho de haber veraneado en el lugar. La Armada Británica le asignó transitoriamente el rango de comandante para minimizar problemas relacionados con tener a un civil a cargo de las fuerzas de desembarco.
Bernal fue un factor importante en la organización en 1946 de la Royal Society Empire Science Conference, que preparó la realización en 1948 de la siguiente conferencia, que entre otros temas planteó la necesidad de un centro de reimpresión centralizado de la información científica.
En 1954 Bernal afirmaba:
Las dificultades intrínsecas para los científicos de disciplinas diferentes, son las creadas por la multiplicidad de los lenguajes utilizados y por las barreras nacionales que dividen actualmente al mundo de la ciencia. Esas dificultades han aumentado enormemente y han resultado ser cada vez peores para el desarrollo de la ciencia. Actualmente, los trabajos científicos de importancia se publican por lo menos en 10 idiomas diferentes –para no hablar sino de los idiomas más conocidos entre los hombres de ciencia-, y en unas 100.000 revistas científicas que se editan sin que haya casi coordinación entre ellas. Esta situación ha traído como consecuencia que, en muchos campos, sea más fácil encontrar un nuevo hecho o formular una nueva teoría, que saber si ya fue descubierto o establecida con anterioridad. Tal parece como si la unidad de la ciencia se estuviera rompiendo por su propio peso. (…) Pero no se trata de algo inevitable; ya que por grande que sea la cantidad de hechos y la rapidez de su acumulación, siempre es posible encontrar la manera de ordenarlos y de publicar periódicamente una recopilación de aquellas informaciones que tengan mayor importancia en general, a la vez que se indique el modo de encontrar las que tienen un interés particular (…) Los científicos deben convencerse (…) de que es indispensable, para su propio provecho, que empleen una parte de su tiempo en la tarea de ordenar y diseminar la información; y para poder hacerlo, necesitan contar con un apoyo financiero que pueda llegar hasta el 20% del costo de la investigación. Carece de validez la idea de que es posible establecer un servicio de información que se sostenga económicamente, aunque sin producir ganancias. Únicamente los gobiernos pueden establecer y sostener servicios eficientes de información científica, debido a que se ha demostrado que son los más económicos, puesto que evitan muchas duplicaciones en la edición de publicaciones, en el manejo mecánico y en la traducción. Esta ha sido la experiencia obtenida en el mayor de los sistemas de información que existen actualmente, que es el de la Academia de Ciencias de la URSS. Ahora, cuando las relaciones científicas internacionales se encaminan hacia una atmósfera de comprensión, es bueno recordar que fue la Royal Society la que presentó la primera iniciativa seria para dotar a la ciencia de un servicio de información amplio y siempre actual, en la Conferencia de Información Científica que se efectuó en 1948 (Bernal, J.D.,1979: 467/8).
Basado en su experiencia en el sistema científico y gubernamental británico, en sus simpatías por los procesos desarrollados en la URSS dada su explícita adhesión al marxismo, Bernal imaginaba la organización de la producción científica solo factible en el campo de la iniciativa estatal.[3] Sus simpatías con el régimen soviético hicieron que este país le otorgara el Premio Lenin de la Paz en 1953 por sus labores internacionalistas.
Sin embargo, las ideas de Bernal permanecieron vigentes más allá de la guerra y a pesar de las tensiones entre Estados Unidos y la Unión Soviética (la llamada Guerra Fría).
La paradoja es que el bernalismo, el producto del pensamiento revolucionario en los años treinta, fue de hecho adoptado en el período de la posguerra, por capos de la industria y por ministros de gobierno (…) Hacia 1964, lo que había ocurrido fue que la tesis bernalista dura había sido abandonada, quedándose el bernalismo débil de planificación, programación, personal, dinero y equipamiento para el crecimiento eficiente. La versión dura del bernalismo parecía olvidada incluso por el propio autor. No hay que asombrarse, por tanto, de que el “bernalismo” pudiese servir como el fundamento o la legitimación teórica para las doctrinas sobre políticas científicas tanto en el Este como en el Oeste (Elzinga, 1988: 94).
En relación con procesos de articulación del conocimiento acumulado, quien impactó a públicos masivos fue el biólogo, escritor y divulgador científico H.G. Wells. En 1936 propuso a la Royal Institution la creación de un banco de conocimiento mundial, un cerebro mundial (World Brain). Solicitó a los científicos que confeccionaran una Enciclopedia Mundial Permanente. Esta Enciclopedia estaría situada en una cámara central que gestionaría toda la información y luego la distribuiría a todas las bibliotecas del mundo donde se almacenaría en microfilms. Wells estaba muy impactado por el desarrollo que se dio en la década de 1930 de la microfotografía y de ahí su propuesta: “Se acerca el tiempo en que cualquier estudiante, en cualquier parte del mundo, podrá sentarse con su proyector en su propio estudio, con toda comodidad y examinar una réplica exacta de cualquier libro o documento”. Variando el soporte tecnológico, Wells estaba anticipando la creación de Internet.
La idea de Wells asociada a sus ideales del socialismo fabiano era impulsar la difusión del conocimiento como herramienta para la paz y el progreso, y para ello había que canalizar la información que crecía en proporción geométrica. Sus propuestas fueron recogidas en el libro World Brain.
Esta organización enciclopédica no tendría por qué estar concentrada en un solo lugar; podría tener la forma de una red, estaría centralizada mentalmente, pero tal vez no físicamente (…) Por una parte esta organización estaría en contacto directo con todo el pensamiento original y la investigación del mundo; por otra extendería sus tentáculos informativos hasta los individuos inteligentes de la comunidad: la nueva comunidad mundial.[4]
Otro impulso relevante al desarrollo de la sociología de la ciencia fueron los estudios realizados por el destacado sociólogo norteamericano Robert King Merton (Meyer Robert Schkolnick, 1910-2003). Recogió el planteamiento de la estructura social de la ciencia, la utilidad de la ciencia, así como el desarrollo de la cientometría y la política de ciencia y tecnología. Fuertemente influenciado por las ideas de Max Weber, vinculó el espíritu capitalista y el puritanismo al desarrollo de un pensamiento racional y objetivo. Su concepción de un ethos científico sería la médula central de la normatividad de su teoría.
En el caso de la ciencia, Merton encontró en la publicación y la citación que certifican la prioridad del descubrimiento científico y su reconocimiento por la comunidad, la base del epónimo, la celebridad y el reconocimiento, que son las recompensas centrales de la institución de la ciencia (Orozco y Chavarro, 2010: 145).
Aquí Merton introduce una asociación entre el reconocimiento externo, que es una medida objetiva expresada por otros, y la excelencia, que es una calidad intrínseca del quehacer científico. Esta idea de que el reconocimiento traduce la calidad de la actividad científica será de gran importancia para servir de sustento a los índices que se construirán en los estudios de citación de revistas que se desarrollarán más adelante.
La cienciometría en los Estados Unidos está también vinculada al nombre de Derek J. de Solla Price. Nacido en 1922 en Leyton, Inglaterra, era licenciado en Física y doctor en Filosofía de la Universidad de Londres. Un hecho fortuito llamó su atención sobre el crecimiento exponencial de la ciencia. La remodelación de la biblioteca donde estaba la colección completa de la revista Philosophical Transactions de la Royal Society lo hizo depositario de la misma durante un tiempo. Allí pudo comprobar físicamente el notable crecimiento de los artículos científicos publicados en ella y su inquietud se plasmaría en diversos artículos sobre este fenómeno.
Señala que el conteo es un dato burdo, pero “se podría afirmar con cierta seguridad la existencia de una correlación significativa entre la solidez cualitativa y la solidez cuantitativa” (De Solla Price, 1973: 127). Esta tesis la sustenta con estudios acerca de la evolución de la producción textual científica, los índices de crecimiento social y económico de los países y el aumento en la producción científica. Logra establecer que los autores más reconocidos por lo regular son los más citados y los que mayor volumen de producción tienen en su haber. Así también logra una correlación positiva entre aumento de la productividad científica y crecimiento.
Los aportes desde la bibliometría y el manejo de documentación
Durante la década de 1930, a partir de la profunda crisis económica, surgió la necesidad de ajustar fuertemente los presupuestos de las bibliotecas y de los centros de documentación, y ello implicó jerarquizar la importancia de estos materiales. Se realizaron diversos estudios en el campo de la bibliometría, que es el recuento de todo lo que puede ir en una biblioteca científica, y es un enfoque cuantitativo de las técnicas de gestión de la biblioteca. Se destacaron los de Samuel Clement Bradford, químico y documentalista británico, que fundó en 1927 la British Society for Internacional Bibliography (BSIB) y fue presidente electo en 1945 de la Federación Internacional de Información y Documentación. En 1934 Bradford realizó un trabajo sobre la distribución de artículos en revistas sobre geofísica aplicada y en investigaciones sobre lubricantes, donde presentó por primera vez lo que hoy se conoce como Ley de la dispersión de Bradford, que postula como hipótesis que la mayoría de los artículos sobre un asunto especializado podrían estar siendo publicados por pocas revistas especialmente dedicadas a ese asunto conjuntamente con ciertas revistas de frontera y algunas revistas más generales o de dispersión. Ese núcleo de revistas especializadas que se identifican utilizando la Ley de Bradford como apoyo técnico científico al desarrollo de colecciones debería formar parte de la colección básica de una biblioteca. Es evidente que un pequeño núcleo de revistas acumula una porción sustancial del número de artículos producidos, y que las revistas fuera del núcleo contribuyen con pequeñas cantidades de artículos. Por lo tanto, una aplicación práctica de la Ley de Bradford proporciona los mecanismos para seleccionar las publicaciones periódicas no solo más productivas sino también más relevantes para una determinada área del conocimiento.
Mientras estos procesos se desarrollaban en Estados Unidos, retomando sus tradiciones de organización de la documentación científica, en la URSS se crea en 1952 el Instituto de Información Científica y Técnica VINITI (Vserossiisky Institut Nauchnoi I Tekhnicheskoi Informatsii), como una rama de la Academia Rusa de las Ciencias. En sus inicios tuvo la tarea de recopilación de la información científica y técnica a partir de fuentes de todo el mundo, y también la función de difundir esta información a la comunidad científica soviética y de los otros países que formaban el bloque socialista.
A pesar de estas visiones e iniciativas gubernamentales, los procesos de centralización de la información científica demandados por la comunidad académica vendrían de iniciativas privadas. Semejante situación solo podía desarrollarse en el país donde estas tenían una alta legitimidad en las prácticas gubernamentales, y una estrecha relación con el desarrollo de la ciencia y la tecnología: en los Estados Unidos.
El debate en Estados Unidos sobre la organización de la información científica
El lanzamiento del Satélite Sputnik por la Unión Soviética causó una gran conmoción en el mundo occidental. En Estados Unidos la mirada se posó nuevamente sobre la capacidad de la comunidad científica para afrontar los desafíos planteados, en una carrera científico-militar que se veía como central para el dominio del espacio aéreo. Parte de este debate se dirigió a cómo lograr la sistematización de la información científica. Hasta ese momento la accesibilidad a la información científica se había confinado al mundo de la bibliotecología.
Se conforma entonces un Comité de Asesoramiento al Presidente (President’s Science Advisory Committee, PSAC), que en 1958 elabora un informe llamado Mejorando la disponibilidad de información científica y técnica en los Estados Unidos. Después de un importante debate se resolvió no adoptar un sistema centralizado de información científica como el existente en la Unión Soviética (el VINITI), que John D. Bernal había ensalzado en su momento, y se recomendó investigar la aplicación de métodos mecánicos y técnicas para procesar la información.
En 1963 un nuevo Panel on Science Information se creó para avanzar en estos temas. La presencia en el mismo nivel de las empresas privadas, el gobierno y el mundo académico refleja acertadamente la articulación que es permanente en todos los sistemas burocráticos del país, con resultados importantes en materia de confluencia de los intereses públicos y privados. Ello tendrá importancia en la forma de organización de la información científica que se plasmará. En el curso de veinte años, la naturaleza de la crisis en la información científica cambió del control bibliográfico de los bibliotecarios, a un problema del científico individual tratando de hacer frente al creciente volumen de literatura, y luego a una crisis de identidad de la ciencia en general. En el prólogo del nuevo informe de la PSAC de 1963, el presidente John F. Kennedy escribió que la ciencia se había convertido en una necesidad nacional.
La cultura de la citación
Los índices de citas de Frank Shepard
La utilización de índices de citas se origina en los Estados Unidos en el campo de la abogacía. En la segunda mitad del siglo XIX el vendedor de una editorial jurídica, Frank Shepard, de Illinois, desarrolla un sistema de papeles engomados con las listas de los casos asociados al proceso judicial en curso. Dichos papeles contenían las citas de los casos resueltos en el sistema judicial y se pegaban a los expedientes para facilitar su búsqueda y citación. El mismo tiene gran éxito y en 1873 Shepard crea una empresa comercial, Shepard Citaciones Inc., con gran repercusión en distintas ciudades del país. La editorial Springs, con un equipo de abogados altamente calificados, produjo el Citator de Shepard, que cubría todas las decisiones judiciales en los Estados Unidos y era vital para fundamentar los argumentos de las partes. Esto es debido a la doctrina de stare decisis, que significa que todos los tribunales deben seguir los precedentes establecidos por los tribunales superiores y cada tribunal generalmente también se rige por sus propios precedentes, que deben mantenerse vigentes.
El rol de Eugene Garfield y del Institute for Scientific Information (ISI) en la entronización de las citas en las revistas científicas como el principal instrumento de medición de la calidad de la investigación
Eugene Garfield, nacido el 16 de septiembre de 1925, en 1949 obtuvo un Bachelor Science en Química en la Columbia University. La trayectoria de Garfield es típica de los emprendedores norteamericanos que articulan distintas iniciativas empresariales con su capacitación y desarrollo personal. Comenzó con actividades vinculadas con su profesión de químico, pero percibió rápidamente la importancia de la bibliotecología y del procesamiento de la información científica; fue redactor, editor, productor de bases de datos y un importante comunicador de la utilización de los indicadores en la ciencia. Sus intereses coincidieron con un momento donde la gran expansión científica producida después de la Segunda Guerra Mundial demandaba análisis sobre el desarrollo de la ciencia, la priorización en la asignación de recursos y la necesidad de instrumentos de sistematización en el exponencial crecimiento de los artículos científicos.
Sus experiencias laborales lo llevaron casi de casualidad hacia estos temas. En 1951, comenzó a trabajar con el proyecto de indexación en la Biblioteca Welch de Medicina de la Universidad Johns Hopkins para mejorar la lista de la literatura médica (más tarde llamado Index Medicus), utilizando los métodos de la máquina de compilación. Fue aquí donde Garfield percibió el gran potencial de las máquinas para el manejo de grandes archivos de información. Utilizó para ello la máquina de clasificación IBM 101 de tarjetas perforadas, que habían sido codificadas para la preparación de índices impresos.
Con una beca Grolier logró cursar sus estudios en la escuela de bibliotecología de la Universidad de Columbia. Después de interiorizarse en el sistema de citas Shepard en la Biblioteca Pública, escribió un ensayo sobre el mismo como parte de su Maestría en Bibliotecología en la misma universidad, donde se recibió en 1954. Al ser despedido Garfield del proyecto se unió como consultor en documentación procesada mecánicamente a la compañía farmacéutica Smith, Kline y French. Estaba centrado en los posibles usos de las computadoras, pero su experiencia en el proyecto de documentación y sus estudios en bibliotecología confluyeron en la dirección de organizar la documentación, y percibió la relevancia de la experiencia desarrollada por Shepard.
El momento intelectualmente decisivo en relación con la generación de un sistema de organización de parte de la producción científica agrupada en revistas se plasma en 1954 cuando presenta el trabajo “Association-of-ideas techniques in documentation: Shepardizing the literatura of science” en el Research Information Center, National Bureau of Standards. Señala allí que hace algún tiempo se empezó a preocupar para la elaboración de un código de citación para la ciencia. Allí presenta criterios de codificación de la información, donde sería clave poder identificar rápidamente todos los artículos originales que se habrían referido al artículo elegido para su análisis. De esa forma sería posible evaluar la importancia de un trabajo en particular y su impacto en la literatura y el pensamiento de la época. Tal factor de impacto ya había sido utilizado previamente por otros autores para intentar medir la importancia relativa de las revistas científicas.
Garfield señala que lo que se intenta es que mediante estos métodos los autores podrían determinar fácilmente lo que otros autores hacían en relación con su trabajo, facilitando la comunicación entre los científicos. Destaca que en ese momento en la última edición de la Lista Mundial de Revistas Científicas figuraban 50.000 títulos en ciencia y tecnología, pero que la cobertura completa no necesariamente es un argumento a favor del análisis, sino que un proceso selectivo es mucho más pertinente porque conduce a lo principal del avance científico en el área, según los criterios de la propia comunidad científica. Lo que Garfield planteaba es que el enfoque de la citación hace que el uso de las referencias del autor en la elaboración del índice de citas determina que en forma agrupada se utiliza un ejército de indexadores, cada declaración, cada referencia se asemeja a un índice de entrada superpuesto con la función de la evaluación y la interpretación.
Garfield avanzaría con gran tenacidad en definir un sistema de organización de la información científica acotado estrictamente a este propósito. Lo que fue interesante como comienzo de un sistema de este tipo, tuvo consecuencias relevantes sobre un objetivo ni siquiera imaginado inicialmente, que fue la deformación del sistema mundial de evaluación de la ciencia y de los científicos.
En 1954 Garfield formó su propia compañía, DocuMation Inc., que luego tomó el nombre de Eugene Garfield Associates. Una de sus primeras iniciativas fue la de presentar una propuesta formal para utilizar un sistema de indización de citas (que él llamaba Shepardizing) a la Oficina de Patentes. La idea de que era posible hacer un índice de citas muy acotado en relación con la inmanejable cantidad de revistas científicas dada la tecnología y recursos disponibles era muy audaz y exigía propuestas difíciles de sostener. ¿Quién determinaría recortes que dejarían fuera del campo de análisis a la gran mayoría de las revistas científicas del mundo, editadas por otra parte en muchos idiomas diferentes?
Garfield publica en julio de 1955 su trabajo de 1954 en la revista Science con el nombre de “Citation Indexes for Science. A New Dimension in Documentatio through Association of Ideas”. Elimina por pedido de los directivos de Shepard el término shepardizing. Garfiel pensó en el índice como un conjunto ordenado de números. Cada artículo sería representado por un código de dos partes, la primera referida a la revista y la segunda al artículo. Debajo de cada artículo citado los artículos que citan se imprimirían con una clasificación de una letra. Garfield describe el proceso de producción con tarjetas perforadas subrayando que personas poco calificadas pueden llevar a cabo la codificación y el archivo. Inicialmente argumentó la utilización del índice en términos históricos.
Sería particularmente útil en la investigación histórica, cuando uno está tratando de evaluar la importancia de un trabajo en particular y su impacto en la literatura y el pensamiento de la época. Este “factor de impacto” puede ser mucho más indicativo que un recuento absoluto de la cantidad de publicaciones de un científico (Garfield, 1955: 109).
La aparición del Science Citation Index se viabiliza
“La creación del Science Citation Index (SCI) es menos el resultado de algún proceso inevitable de la ciencia que una contingencia histórica”
(Paul Wauters, 1999: 22).
Eugene Garfield Associates pasó a llamarse Institute for Scientific Information (ISI) en 1960. Como Eugene Garfield hizo hincapié en su discurso sobre el jubileo número 50 del Instituto de Información Científica y Técnica (VINITI) de la Unión Soviética en el año 2002, el ISI recibió su nombre en parte inspirado por el mismo. En su correspondencia con el genetista Joshua Lederberg, Garfield manifestaba su asombro por las puertas que se habían abierto a partir del cambio de nombre. Con el apoyo de Lederberg, Garfield obtuvo un financiamiento que le permitió en 1963 al ISI publicar el Genetics Citation Index (GCI) con una base de información de 600 revistas con 100.000 artículos y 1,5 millones de referencias citadas. Este comienzo obedece estrictamente a cuestiones financieras, ya que se había conseguido un apoyo estatal para ello. El GCI todavía no incluía títulos, fue principalmente una lista de nombres de autores citados. El ISI comenzó la publicación del Science Citation Index (SCI) en 1964, nombre que fue acuñado por Lederberg.
En 1965 se edita el Social Sciences Citation Index (SSCI). En 1975 aparece el Arts and Humanities Citation Index (A&HCI) y el Journal Citation Reports (JCR), que analiza los factores de impacto de las revistas.
Fue extremadamente útil para Garfield, para hacer factible su proyecto, apoyarse en estudios previos sobre la representatividad que el mismo podía tener, particularmente los de Bradford de 1934 que analizamos anteriormente, y los de Solla Price (1963). Esta idea la denominaría más adelante (1979) la “Ley de la concentración de Garfield”. Su ley bibliométrica señalaba que para cualquier campo de la ciencia los artículos se concentran en las mismas revistas multidisciplinarias de alto impacto o mainstream (corriente principal). Haciendo referencia a las distribuciones de Bradford, dijo que en gran medida la cola del cometa de una disciplina consistía en el conjunto de revistas que conformaba el núcleo de la literatura de otra disciplina. Esto significaba que una buena biblioteca de ciencia que cubriera los núcleos de todas las disciplinas no debería tener más revistas que una buena biblioteca especializada que cubriera toda la literatura de solamente una disciplina. Con lo que no sería necesario más que unas 1000 revistas mainstream para cubrir todos los núcleos con sus colas. De aquí que con unas 3000 revistas el Science Citation Index cubría al 90% de la literatura que realmente importa. Con un conjunto de revistas mainstream, no solo se tienen los núcleos de todas las disciplinas, sino también sus colas de distribución principales, pues las colas de un conjunto de revistas mainstream están formadas por las otras revistas mainstream. Hasta aquí la hipótesis de Garfield. Esta opinión nunca fue demostrada, sin embargo durante treinta años actuó como impedimento ideológico para que se incluyeran en el ISI revistas que no pertenecieran a ese conjunto cerrado de revistas iniciales, que históricamente procedieron de los países desarrollados de habla inglesa.
En las condiciones tecnológicas de la época, el enorme trabajo necesario para construir los índices era fuertemente elogiado por la comunidad científica y al mismo tiempo imponía una barrera de entrada a un trabajo similar, dados los altos costos y la continuidad del esfuerzo que ello implicaba. De todos modos las críticas sobre la cantidad excesivamente limitada de revistas utilizadas se hacían sentir con fuerza por parte de la comunidad científica. La estrategia inicial de Garfield fue enfrentar estas críticas absorbiéndolas, es decir, incorporando crecientes cantidades de revistas en la medida en que el proyecto se consolidaba. Luego, con el respaldo de la elite de la comunidad científica, transformaría esta limitación profunda del sistema de recolección de información en un diferencial ventajoso, las revistas admitidas tendrían un sello de distinción que provocaría un vuelco creciente hacia las mismas por parte de los investigadores.
La deformación de la utilización del “factor de impacto” de las revistas según el propio Garfield
Garfield vaciló siempre entre señalar el uso erróneo del “factor de impacto” y su defensa en función de la conveniencia comercial que implicaba para el ISI su control monopólico. En el homenaje a John D. Bernal (Garfield, 2007), Eugene Garfield señala que él no estaba entrenado como historiador o sociólogo, y que el Science Citation Index no fue planeado como una herramienta para los evaluadores de la ciencia. Más bien había sido diseñado para mejorar el intercambio de conocimientos y la eficiente difusión y recuperación de la información científica. Aunque no tenía la menor idea del factor de impacto como mecanismo de evaluación científica en 1954, fue la posterior asociación con mentores como Robert K. Merton, Harriet Zuckerman y otros cientistas sociales los que le hicieron apreciar su valor para la política científica.
En 1955, no se me ocurrió que el “impacto” se había vuelto tan controversial. Al igual que la energía nuclear, el factor de impacto es un arma de doble filo. Yo esperaba que fuera utilizada de manera constructiva al tiempo que reconozco que en las manos equivocadas podría ser objeto de abuso. A principios de 1960, Irving H. Sher y yo creamos el factor de impacto de las revistas para ayudar a seleccionar las que se incluirían en el nuevo Science Citation Index (SCI). Para ello, simplemente reclasificadas por la cita de autor en el índice de citas de la revista. Necesitábamos un método simple para la comparación de las revistas, independientemente del tamaño o de la frecuencia de la citación, así hemos creado el “factor de impacto”.
El término “factor de impacto” ha evolucionado gradualmente, especialmente en Europa, para describir tanto la revista como el impacto del autor. Esta ambigüedad a menudo causa problemas. Una cosa es utilizar los factores de impacto para comparar revistas y otra muy distinta es utilizarlos para comparar los autores. Factores de impacto de revistas generalmente implican poblaciones relativamente grandes de artículos y citaciones. Autores individuales, en promedio, producen un número mucho menor de artículos aunque algunos sean fenomenales.
El Institute for Scientific Information (ISI), “el huevo de la serpiente” en la evaluación científica
“El huevo de la serpiente” es una metáfora popularizada por la película de ese nombre dirigida por Ingmar Bergman en 1977 y ambientada en el Berlín de los años 20. El científico que realiza experimentos sobre los seres humanos, el Dr. Vergerus, dice: “Cualquiera puede ver el futuro, es como un huevo de serpiente. A través de la fina membrana se puede distinguir un reptil ya formado”. La película describe el proceso que condujo a la destrucción de la democracia alemana y su paulatina sustitución por un régimen totalitario a partir de 1920. Se refiere a que cuando está en la etapa de gestación, la serpiente puede ser vista a través de la cáscara transparente del huevo. Y lo que se ve es un bichito insignificante y hasta simpático, que puede incluso inspirar compasión. Por eso, nadie se atreve a destruirlo impidiendo su nacimiento. Pero cuando sale del huevo y comienza a actuar, el proceso no para hasta que la destrucción es total. Y cuando por fin alguien quiere hacer algo al respecto, es demasiado tarde.
Al desarrollar detalladamente la historia de la construcción del Institute for Scientific Information (ISI) y de su creación distintiva, el Science Citation Index (SCI) (véase, Osvaldo Barsky, UAI-TESEO, 2014), hemos dejado claro que las raíces de este índice de citas están fuera del mundo de la ciencia, no solo nacieron fuera de la comunidad científica sino que fueron desarrolladas por una persona ajena al sistema y de ahí la resistencia inicial a adoptarlo. Desde la década de 1960 y en relativamente escasos años, la indización de la literatura académica ha evolucionado desde un simple sistema de recuperación de la información (encontrar información publicada relevante) y difusión selectiva de la información, a una herramienta para evaluar la investigación y los investigadores.
En Eugene Garfield, su creador, difusor y defensor acérrimo a lo largo de décadas (además de su beneficiario económico principal en el período fundacional) se conjugaron la percepción de la necesidad acuciante de organización de la información científica a partir de las demandas latentes, con el forzamiento de las posibilidades de la época en materia de capacidad de procesamiento. Frente a la existencia de decenas de miles de revistas científicas a nivel mundial, publicadas en diversos idiomas, se imponía una operación quirúrgica audaz. En primer lugar, definir arbitrariamente a las revistas de “elite” ligadas a las instituciones con editoriales poderosas o asociadas con las principales editoriales privadas de difusión comercial. En segundo lugar, como hemos visto, marcar como atributo casi excluyente a las publicaciones en inglés como las pertenecientes al universo que vale la pena incluir en el análisis, y por lo tanto en el Science Citation Index.
En numerosas oportunidades, Garfield reconoció que su propósito no era establecer una medida de la calidad de la ciencia sino un sistema de conteo de la utilización efectiva de la información científica. Todavía en 1998 Garfield reconocía que
… la nueva generación de científicos, e incluso los cientometristas, necesitan que se les recuerde periódicamente que el Science Citation Index (SCI) no fue originalmente creado para realizar estudios cuantitativos, calcular el factor de impacto ni para facilitar el estudio de la historia de la ciencia.
Sin embargo, Garfield fue extraordinariamente hábil al involucrar simultáneamente a la tradición que reclamaba la organización de la información científica encarnada por John D. Bernal, con quien estableció cordiales relaciones, con una tardía relación personal con Merton reivindicando sus aportes sobre la importancia de la meritocracia de los científicos basada en los lugares de reconocimiento de su producción científica, espacio rápidamente cubierto por las revistas incorporadas al ISI, y sobre todo con lo funcional que resultaron las mediciones de SCI para De Solla Price, que le permitieron apoyar en mediciones empíricas mucho más amplias que las de sus propios estudios su tesis sobre la existencia de una correlación significativa entre la solidez cualitativa y la solidez cuantitativa de los artículos científicos. Paul Wauters (1999) ha destacado la ansiedad con que Price le reclamaba a Garfield datos procesados en el nuevo espacio generado para consolidar empíricamente sus avances pioneros en la historia de la ciencia.
Garfield no los involucró simplemente en el plano conceptual. Los integró en las actividades del ISI, y apoyados en su prestigio y en el apoyo de los genetistas encabezados por el premio Nobel Joshua Lederberg, logró el respaldo que hasta allí había sido muy reticente de la National Science Foundation y de las altas esferas de poder del gobierno norteamericano, apremiado por el desarrollo de demandas de racionalización burocrática asociadas con el aparato organizativo necesario para la gestión de la inversión pública en investigación y desarrollo, dada la competencia con la Unión Soviética por la repercusión de sus avances en la carrera espacial.
A partir de entonces, de un esfuerzo inicialmente centrado en una organización de la información científica, al acoplarse la comunidad científica asociada a las elites a través de las revistas y al gran negocio de la evaluación, los avances empíricos discrecionales y condicionados por las limitaciones de presupuesto y de desarrollo de la informática van evolucionando en la construcción de una teoría. Garfield tenía muy claro en este plano los planteos de Bradford porque era bibliotecario, y le eran útiles para definir la selección forzada por escasez de recursos y limitaciones de la computación. Lo va transformando en teoría y así se explica el primitivismo del sistema de construcción de estos sistemas de evaluación científica.
Se puede hacer una analogía con los avances científicos de los siglos XVIII y hasta casi finales del XIX. Los mismos no fueron la aplicación del conocimiento científico disponible sino que primero se desarrollaron las invenciones pragmáticas de ciertos individuos que luego fueron la base material del desarrollo del conocimiento científico. El ejemplo típico es el descubrimiento del vapor, cuyo funcionamiento en el plano teórico solo fue comprendido años más tarde cuando ya funcionaban las bombas a vapor. Aquí es lo mismo. Primero se construyó un sistema parcial, limitado y deformado, y luego la comunidad científica lo sacralizó. Sistema que surgió no de una teoría sino de la praxis del sistema Shepard de citación. La cientometría le fue agregando sofisticados desarrollos de indicadores y de información analítica, pero siempre ocultando el pecado original, el “huevo de la serpiente”. Nadie pudo plantear una alternativa al sistema de citación, objeto de representación de segundo orden, según Wouters, usado como de primer orden. Dudas sobre la identificación de lo cuantitativo como sinónimo de cualitativo fueron planteadas por diversos autores (los hermanos Stephen y Jonathan Cole, por ejemplo) en forma dubitativa, sin poder enfrentarse a la maquinaria en marcha.[5] Quienes criticaron al SCI quedaron inicialmente marginados. Pero la incoherencia estructural de su metodología sigue presente, de ahí las reacciones actuales contra la utilización del “factor de impacto” de las revistas científicas en los procesos de evaluación, de las rebeliones contra el elevado costo de la producción científica publicada por monopolios privados y de la deformación de los procesos de evaluación asociados.
Las críticas al sistema de medición de la calidad a partir de la utilización del “factor de impacto” del ISI fueron de dos órdenes. Las metodológicas con base en cuestionar los fundamentos de la cultura de la citación, es decir, el uso de la acumulación cuantitativa de las citas como sinónimo de calidad, y las centradas en mostrar las limitaciones técnicas contenidas en el uso del indicador como tal.
En 1999 es sin dudas Paul Wouters quien elabora la más significativa crítica a la cultura de la citación, que según el autor ha cambiado, sin saberlo y sutilmente, los conceptos básicos de la ciencia moderna, como la calidad científica y su influencia, con fuertes consecuencias sobre los científicos y la política científica, a pesar de la falta de éxitos de la cienciometría, que se apoyó en su desarrollo en el sistema de la citación. Lo primero que destaca es la extrema heterogeneidad de los procesos de utilización de citas entre las distintas disciplinas, contraponiendo a un matemático que no cita muchas publicaciones con los que hacen investigación biomédica, que pueden citar cientos de artículos. Las culturas varían profundamente entre las especialidades y también entre las revistas que históricamente han existido.
Para la cultura de la citación la frecuencia de las citas parece una buena forma de medir objetivamente la utilidad científica, la calidad o el impacto de la publicación. Pero Wauters destaca que la cita, como se usa en el análisis bibliométrico y en los indicadores de ciencia y tecnología, no es idéntica a la referencia producida en el escritorio de un científico. La cita, entonces, es producto del indexador de citación, no del científico. Por ello desde la creación del ISI para hacer viable el nacimiento del índice de citas y su utilización por los investigadores, fue necesario un proceso de traducción cuyo resultado es la nueva forma en que el SCI representa a la ciencia. El análisis de citas y la cientometría se basan en la literatura científica y están un paso por detrás de la práctica de investigación que les da origen. Pueden ser vistos como representaciones de “segundo orden” de lo que sucede en los laboratorios o en el escritorio de los científicos.
La cita es un nuevo signo diferente a la referencia en que se basa. Los indicadores cientométricos están arraigados en la literatura, capturan diversas relaciones entre las publicaciones, pero, y este es un punto crucial, ignoran su contenido. La representación de la literatura científica por la cientometría se basa en sus propiedades formales, que desconocen expresamente las dimensiones cognitivas implicadas.
Además de la distorsión del proceso de selección de las “revistas centrales” que contendrían las mejores y más significativas contribuciones de un determinado campo del conocimiento asociadas a la de “ciencia central”,[6] el ISI introduce un elemento de medición: “el factor de impacto”.
Introducido inicialmente como una medida estadística destinada a facilitar la labor de los bibliotecarios para garantizar la compra de material para las bibliotecas de las publicaciones más citadas, la comunidad científica distorsionó su utilización al contar con una medida comparativa, que al evaluar supuestamente a las revistas más utilizadas como sinónimo de las mejores o de más calidad, trasladó este criterio a la evaluación de los investigadores en relación con donde publicaban. En la misma dirección se deformaron los criterios de evaluación de proyectos de investigación, de asignación de recursos para los mismos y todo aquello que permitía contar con medidas “objetivas” de medición de la calidad, y evitaban la siempre tediosa y compleja evaluación de las personas y los productos considerados.
La utilización del “factor de impacto” ha recibido innumerables críticas de la comunidad científica, particularmente porque la distorsión de las revistas utilizadas por el ISI beneficia abiertamente a las revistas hegemonizadas por las comunidades académicas de los países más desarrollados, particularmente los que tienen el inglés como lengua nativa.
La deformación introducida en la evaluación por las “revistas centrales” se agrava notablemente para el caso de las ciencias sociales y las humanidades. La principal distorsión es el reduccionismo de evaluar la calidad académica a través de las revistas científicas. En estos campos disciplinares el soporte más utilizado es el libro, ya sea como producto de una obra relevante individual o como la recopilación alrededor de una temática de artículos en libros generalmente editados por un alto referente de la respectiva especialidad. Más allá del prestigio de determinadas editoriales, de la presencia de directores de colección o de comités editoriales, la edición de libros no permite una comparación sistematizada directa de la calidad a través de indicadores abstractos como los utilizados en la citación de revistas, que suponen a través del factor de impacto la existencia de una ciencia global unificada y comparable. Si algo se refuerza en el campo de las ciencias sociales es la diversidad no solo temática sino del estudio de diferentes fenómenos locales con historias y ámbitos geográficos específicos que son parte constitutiva de su contenido esencial, y por lo tanto que definen en su forma de expresarlo la calidad de la investigación realizada.
Una crítica integral a los análisis cuantitativos de la literatura científica y su validez para juzgar la producción latinoamericana fue realizada desde la Organización Panamericana de la Salud por el destacado especialista en estos temas, Ernesto Spinak, señalando que los datos bibliométricos no proveen una garantía intelectual suficiente en cuanto a su significado e importancia, debido a las limitaciones de las bases de datos usadas y sus procedimientos. Los procesos de investigación de una sociedad, objeto de medición en la cienciometría, no son enteramente “objetivos y neutros”, como una ley física natural, sino que forman parte de las estructuras sociales y están inmersos en estas, por lo que varían de unas sociedades a otras. La supuesta objetividad de estas mediciones descansa en consideraciones implícitas que no son necesariamente ciertas en todos los casos. Los sociólogos han señalado esta limitación cognoscitiva del análisis de citaciones, así como el carácter no normativo de la empresa científica en los países en desarrollo (Spinak, 1996: 140).
En la misma publicación se incorporó la respuesta de Garfield, que polemizó con las afirmaciones de Spinak en su estilo tradicional, es decir, no abordando las cuestiones metodológicas de fondo, sino como lo había hecho en su momento con las críticas de los académicos franceses, reafirmando que los
mejores científicos latinoamericanos publican sus mejores trabajos en revistas internacionales. También pueden publicar en revistas nacionales por diversas razones legítimas pero para conseguir el reconocimiento internacional que buscan, cada vez publicarán más en revistas internacionales o regionales.
Y desechando las críticas agrega en forma descalificatoria para su interlocutor:
No obstante sus comentarios hallarán resonancia en muchos que en el Tercer Mundo creen que hay una conspiración de los servicios bibliométricos o de indización, destinada a negar a los países pequeños el reconocimiento debido. Es significativo que quienes hacen estas afirmaciones no suelen ser científicos que produzcan investigaciones significativas en el ámbito internacional (Spinak, 1996: 146).
Hay una afirmación en la respuesta de Garfield que merece un comentario especial:
Ernesto Spinak ha aprovechado la publicación de mi artículo en el Boletín de la Oficina Sanitaria Panamericana (vol. 118, nº 5, pp. 448-456, 1995) para lanzar una polémica filosófica sobre la validez de los indicadores cuantitativos en el Tercer Mundo y, en concreto, para cuestionar la relevancia del Science Citation para tales propósitos. De esta manera, vuelve a traer a colación las ya viejas impugnaciones referentes a inconvenientes y defectos reales e imaginarios del análisis de citación. Sin embargo, nunca señala específicamente cual es el error concreto en los datos (el resaltado es nuestro).
Esto coincide con toda la producción intelectual de Garfield que dejó a Merton, Price, Zuckerman y otros académicos de la corriente funcionalista de la sociología americana la defensa del sistema de citaciones en términos teóricos como sinónimo de calidad académica, y por ende de prestigio y reconocimiento social. Garfield siempre fue un pragmático que avanzó en los objetivos de organización de un tipo parcial de información, en búsqueda de expresos objetivos comerciales privados, y en la medida que encontró el respaldo acrítico de gran parte de la comunidad académica internacional, pudo hacerlo. De ahí que frente a una crítica importante e integral que cuestionaba los fundamentos mismos del sistema de citación así organizado se refugió en la empiria limitada de los indicadores construidos y en su utilización efectiva como suficiente argumento. Aplicó con perseverancia y soberbia el poder enorme que le daba el manejo de la única base de datos originalmente conformada, y el gran respaldo de las empresas comerciales vinculadas a las revistas y de las elites académicas que se sentían cómodas dentro del sistema diseñado.
El cubrimiento de revistas en las bases de datos del Institute for Scientific Information es muy bajo. En el año 2002 la décima edición del Directorio de Revistas publicado en ese año por Ebsco registra 175.000 revistas científicas publicadas por 250 países con información sobre 86.000 editores científicos y comerciales. Según el Ulrich International Periodicals Directory, en ese año se identificaban más de 200.000 revistas científicas en el mundo contenidas en 2569 categorías temáticas (Patalano, Mercedes, 2005: 222).
En las 8655 revistas registradas por el ISI en el año 2002 (algo más del 4% del total mundial), 62 pertenecen a América Latina y el Caribe (0,71%), 49 a España y 2 a Portugal, representando Iberoamérica un total del 1,3% del universo de la literatura científica así registrada (Biojone, 2002). Ya en el año 2002 el registro de revistas Latindex de la Biblioteca Central de la Universidad Autónoma de México en el Índice de Revistas Académicas de América Latina, el Caribe, España y Portugal registraba más de 11.000 títulos, de los cuales 1062 cumplían con todos los requisitos de alta calidad académica, contemplando tanto los aspectos formales de edición, continuidad, presentación, etc., como los aspectos relativos a los comités editoriales, arbitraje, autores y contenidos. En el año 2014 el registro total de revistas es de 25.062, lo que supone por lo menos un par de miles de revistas de alta calidad. Muy pocas de ellas son relevadas por los registros del ISI.
Las escasísimas revistas de Sudamérica incluidas contrastan con los 72.186 papers científicos que registra para la región el Research Trends de Elsevier, en el año 2011. El Ranking Iberoamericano (SIR) de Universidades de Scimago, con datos de la base Scopus del mismo año, nos informa de 204.000 documentos científicos publicados en universidades de España y de 163.000 de Brasil. La magnitud de estas cifras exime de comentarios sobre el contraste de la producción científica y la representatividad de lo recogido por el ISI a través de las revistas seleccionadas. Aparece aquí el tema de que los científicos de Iberoamérica, sobre todo de las ciencias naturales, se ven forzados por el sistema a publicar en las revistas legitimadas desde el ISI o de SCOPUS, lo que refuerza un círculo vicioso que trae como consecuencia el debilitamiento o la imposibilidad del desarrollo de revistas nacionales en las que participen activamente los miembros de estas comunidades científicas. Lo más notable es que al publicar en las revistas monopolizadas por Thomson Reuters o Elsevier, la producción científica financiada por estos países se ve obligada a adquirir a elevados costos la producción generada por sus científicos.
Las publicaciones estadounidenses dominan dichas bases de datos. Por ejemplo, en el Journal Citation Reports de 2003, se incluyeron 2267 revistas de los Estados Unidos y 1219 de Gran Bretaña, mientras que las correspondientes a algunos países no anglófonos de incuestionable peso científico como Francia e Italia fueron 147 y 65, respectivamente, y solo 29 revistas españolas fueron incluidas.
Específicamente, los científicos estadounidenses, quienes presentan una inclinación a citarse entre ellos, dominan estas bases de datos (más de la mitad de las citas) hasta incrementar el índice de citas y el impacto medio de la ciencia norteamericana un 30% por encima del promedio mundial. En el año 2011 había en EE.UU. 511.412 científicos. Durante 2010 habían sido citados en el SCI 1.424.859 artículos científicos y tecnológicos. En Argentina se registraban 8820 citas de 50.340 investigadores.
Este sesgo se agrava por el uso de un periodo corto de tiempo para el cálculo del indicador, por ejemplo, en las publicaciones norteamericanas en medicina clínica, el 83% de las referencias en el mismo año se realizaron a otros trabajos publicados por norteamericanos (muchos de ellos probablemente autocitas), un valor 25% superior al nivel estable alcanzado después de tres años. Entonces, tanto la aparente calidad de líder de los norteamericanos como los factores de impacto de varias de sus revistas están, en gran parte, determinados por el gran volumen de autocitas y los sesgos de citación nacional que caracteriza a la ciencia de ese país.
Los cimientos de este aparente sólido edificio en que devino el ISI santificado por la comunidad científica son frágiles porque descansan sobre una lógica circular: los trabajos son citados porque son buenos, en consecuencia son buenos porque son citados. Los estudios cientométricos, sin demostrarlo, afirman que la relación calidad/cantidad se revela en la correlación entre los buenos científicos y su fecundidad. En ningún momento consideran las contribuciones en sí mismas, la calidad no posee individualidad y basta con agrupar las contribuciones según su manifestación numérica. El análisis presupone la unicidad de la ciencia, un sistema en el que todas las disciplinas están niveladas. El factor de impacto es un cálculo abstracto cuya verdad escapa a las tradiciones científicas y a las formas de organización de los campos disciplinares. La nivelación se extiende a las revistas. Por otra parte, el haber sido acotado desde el comienzo al idioma inglés, introdujo un corte sumamente limitado y arbitrario, dejando fuera del análisis a más del 80% de las revistas científicas que se editaban internacionalmente ( Renato Ortiz, 2009).
Las transformaciones en las comunicaciones en la ciencia
En los últimos años, a partir de la digitalización de los contenidos y del surgimiento de Internet ha habido una rápida transformación de las comunicaciones científicas. Ello ha afectado el formato, las vías de comunicación utilizadas, el negocio editorial y el contenido de la información a publicar, afectando la forma de prepararla.
La digitalización de los artículos los volvió fácilmente transferibles y puso en evidencia el carácter monopólico de los grandes grupos editoriales que intermediaban la producción científica financiada por los patrocinadores, dominantemente gobiernos, y el acceso a la misma por el mundo académico.
Como respuesta, se ha desarrollado intensamente el sistema de acceso abierto determinando nuevas formas de comercialización editorial, y también se asiste al avance de los Estados nacionales por recuperar la difusión de las producciones científicas realizadas a partir de proyectos científicos generados con recursos estatales.
Todos estos elementos están también redefiniendo los sistemas de evaluación académica, que sigue siendo un aspecto central en el control de la calidad de la producción científica. El sistema evoluciona en forma acelerada, se estima que más del 40% de los artículos científicos revisados por pares y publicados en todo el mundo entre 2004 y 2011 se encuentra disponible en Internet a través del sistema de acceso abierto, y en pocos años se verán grandes cambios en la forma de circulación y legitimación de la información científica.
El acceso abierto pone a disposición pública a través de Internet la literatura científica. Que la misma sea revisada por pares sigue siendo en realidad el problema central que supone un costo muchas veces absorbido por los mismos académicos, pero que en este sistema plantea la escasez de evaluadores disponibles en términos de calidad y cantidad adecuada para abarcar la creciente cantidad de material en circulación.
La deformación en los registros de la producción científica
En Argentina el atraso en la discusión de estos temas en relación con la evaluación organizada más relevante, que es la de las comisiones evaluadores del CONICET, es notable. En las mismas se siguen manteniendo criterios anquilosados de diferenciación en relación con la calidad de las revistas basadas en los sistemas de citación instituidos por las editoriales comerciales. El propio Ministerio de Ciencia, Tecnología e Innovación Productiva ha reemplazado desde el año 2007 la valiosa información proporcionada por las universidades y los organismos de ciencia y tecnología de su producción científica publicada en diversos tipos de formatos científicos (incluidos libros, por ejemplo) por la exclusiva información suministrada por el Science Citation Index del Institute for Scientific Information (ISI). Ello implica pasar del análisis de 23.323 publicaciones generadas por el sistema científico nacional en el año 2007 a las 8794 que registra el ISI para ese año, es decir que solo se toma un 38% de lo publicado.
La información es tan restrictiva por las deformaciones señaladas sobre el ISI, que por ejemplo para las ciencias sociales y del comportamiento se recogen 200 artículos y para las humanidades 12. Si tenemos en cuenta que el Ministerio de Ciencia y Tecnología registraba para el año analizado 8902 investigadores en ciencias sociales y 4593 en humanidades, ello significa que cada 45 investigadores de ciencias sociales se recoge un artículo, y en el caso de las humanidades se toma otro cada 383 investigadores. Ello refleja lo inadecuado del instrumento utilizado que toma las publicaciones esencialmente en inglés, lo que va a contramano de la importancia de los idiomas vernáculos en estas disciplinas.
En el año 2011 tales proporciones eran un registro cada 76,4 investigadores en ciencias sociales y del comportamiento, y un registro cada 54,5 investigadores de artes y humanidades, es decir, había empeorado. En contraste, por ejemplo en ciencias médicas, tal proporción era de 4,4 investigadores por cada registro.
La dominancia de los criterios de evaluación de las ciencias básicas
Los procesos de evaluación y acreditación de las carreras e instituciones del sistema universitario argentino desarrollados por la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) han tenido gran impacto y determinado cambios significativos en las instituciones universitarias. Dadas las consecuencias institucionales que determinaban la posibilidad de funcionamiento de los posgrados o que ponían en riesgo las carreras de grado alcanzadas, las instituciones y las comunidades académicas prestaron particular atención a esta problemática. Dentro de los mismos adquirió gran relevancia el rol de la función de investigación en las universidades. Ello tuvo que ver con los sistemas preexistentes de evaluación de los investigadores dentro del Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET). El prestigio en esta área de la institución y de sus investigadores determinó que al conformarse los listados de los Comités de Pares en la CONEAU, una gran parte de los mismos fueron escogidos en todas las disciplinas entre personal científico del CONICET. Estos investigadores trasladaron a las Comisiones Asesoras de la CONEAU su visión sobre la calidad en materia de investigación.
El primer problema asociado a lo anterior es que la práctica de evaluación en el CONICET era sobre los becarios e investigadores de carrera, mientras que en el caso de la CONEAU no se trataba de juzgar la actividad de determinadas personas sino procesos integrales que permitieran obtener calidad en materia de formación educativa, tanto en carreras de grado como de posgrado. En ese sentido la función de investigación debía aparecer subordinada a este objetivo superior. Esta confusión fue generada desde la propia CONEAU, donde los formularios de acreditación demandan acciones de investigación en el sentido tradicional, al tiempo que se pedían acciones en este terreno a los posgrados, como si se tratara de entidades autónomas y no de espacios educativos formativos que pueden a través de la docencia integrar conocimientos de investigación generados en distintas entidades, en muchos casos diferentes de aquella donde se desarrolla la actividad. Esto se agravó en el caso de los posgrados profesionales.
El segundo problema es que en la transmisión de los criterios del CONICET para la evaluación de la investigación, se encuentra, por su historia institucional, una fuerte dominancia de las tradiciones que se han ido construyendo en el área de las ciencias básicas, tradiciones que corresponden a un sistema internacional homogéneo en este aspecto y definido por el desarrollo disciplinar llevado adelante en los países desarrollados. La física, la química, las matemáticas, la biología desarrollan procesos de conocimiento en materia de investigación de carácter universal y así son evaluadas.
Diferente es el caso de las disciplinas asociadas al estudio de las realidades locales desde el lado de las ciencias sociales y las humanidades, como aquellas vinculadas con áreas aplicadas como las ingenierías, la arquitectura y otras. Sin embargo, la dominancia de los criterios de las ciencias básicas, con el modelo dominante de papers publicados en revistas de referato internacional, subordinó a los otros procesos. ¿A qué se debió ello en la Argentina?
En primer lugar a las características del desarrollo científico local. Argentina, al igual que la mayor parte de los países de menor desarrollo, destina el peso esencial de sus recursos (particularmente estatales) al financiamiento de las ciencias básicas. Ello es exactamente al revés de los países de mayor desarrollo económico y científico, donde el peso esencial de la inversión se realiza en el desarrollo experimental y en las tecnologías aplicadas. Esto tiene que ver a su vez con el gran peso en los países desarrollados de la inversión de las empresas privadas, la que es particularmente débil en Argentina.
Esta situación de fondo, más el peso de la formación del CONICET a fines de la década de 1950, determinó que las corporaciones de las ciencias básicas capturaran el grueso de los recursos estatales a través del control de esta institución, pero también de la Secretaría de Ciencia y Tecnología devenida recientemente en Ministerio.
Primera respuesta: la rebelión de los investigadores de los organismos de ciencia y tecnología que hacen investigación aplicada
Es tan notable el peso de esta dominancia, que ello ha llevado a conflictos relevantes dado que los investigadores del CONICET asentados en las instituciones del sistema científico (el INTA, el INTI, la CONEA, etc.) que llevan adelante importantes proyectos de desarrollo aplicado son evaluados negativamente en el CONICET por no ajustarse al esquema tradicional de la publicación de papers, lo que muestra cómo el sistema de evaluación se ha vuelto profundamente no funcional a las necesidades de desarrollo del país.
Finalmente, esta deformación del sistema de evaluación se convirtió en una traba para el funcionamiento de las instituciones de ciencia y tecnología en Argentina. Frente a ello el Ministerio de Ciencia y Tecnología (MINCYT) realizó el 8 de septiembre de 2011 un taller cuyas conclusiones centrales fueron:
la no pertinencia de aplicar criterios de evaluación del personal dedicado a la investigación básica, al personal dedicado a la investigación aplicada y al desarrollo tecnológico y social;
la diferencia existente entre las disciplinas y la forma en que cada una evalúa a su personal;
la dualidad entre la evaluación de trayectorias individuales y trayectorias colectivas; y
la distancia entre criterios de calidad académica y criterios de relevancia y/o pertinencia organizacional.
En el año 2012 se dicta la Resolución MINCYT Nº 007/12 que crea la Comisión Asesora sobre Evaluación del Personal Científico y Tecnológico.
La Comisión aborda una de las iniciativas prioritarias de trabajo para el MINCYT, como es profundizar el desarrollo de instrumentos de evaluación que permitan una ponderación más equilibrada entre lo que se denomina ciencia básica y las actividades orientadas al desarrollo tecnológico y social. Se trata de la elaboración de pautas de evaluación dirigidas a superar el esquema de medición tradicional basado en el modelo lineal de producción de conocimiento. En este marco se apunta a revisar las modalidades de evaluación del personal científico y tecnológico entendiendo que su definición inviste un carácter político. Las decisiones respecto de su implementación son orientativas para el personal evaluado ya que se encuentran en estrecha vinculación al esquema de incentivos y estímulos que estos reciben.
La resolución realiza el siguiente diagnóstico sobre la evaluación del personal científico y tecnológico:
i. La dualidad institucional que suponen aquellos casos en los que los investigadores son financiados por CONICET pero su lugar de trabajo es otro de los organismos de ciencia y tecnología o las universidades. Esta situación genera, en algunos casos, una duplicación en la evaluación y una contradicción en los requerimientos de las distintas instituciones.
ii. La Carrera del Investigador Científico establecida por el CONICET ha contribuido a la estabilidad y el prestigio del sistema científico. Sin embargo, se resalta que esto ha tenido como consecuencia la adopción de sus instrumentos de evaluación por parte de otras instituciones que no están necesariamente guiadas por los mismos objetivos.
iii. Respecto al sistema de evaluación actual, se observa la preeminencia de indicadores que consideran a los investigadores en su trayectoria individual fundamentalmente a partir de su producción bibliométrica y la insuficiente utilización de criterios que consideren también su inserción y desempeño en equipos de trabajo. Un cambio en esta modalidad permitiría evaluar mejor los aportes que los investigadores hacen a la misión específica de las instituciones en las que se desempeñan.
Segunda respuesta: la rebelión de los investigadores del CONICET de las ciencias sociales y humanas
El 25 de junio de 2014, como consecuencia de una intensa actividad de los investigadores de las Comisiones de Ciencias Sociales y Humanidades del CONICET, este organismo emitió la resolución 2249, denominada “Bases para la Categorización de publicaciones periódicas para las Ciencias Sociales y Humanidades según sus sistemas de indización”, que plantea:
La difusión de los resultados de investigaciones mediante publicaciones periódicas (revistas), entre otros medios, busca legitimar, ante una comunidad de especialistas o de públicos más amplios, la autoría de investigaciones originales y los resultados de los procesos de producción de conocimientos, al tiempo que permite su aplicación a problemas específicos y facilita su expansión en posteriores investigaciones.
En sintonía con prácticas generalizadas en comunidades internacionales de investigadores, el CONICET ha considerado estándares de calidad y repercusión para las publicaciones periódicas en las que publican sus investigadores. Estos estándares resultan de la recopilación y análisis de las revistas por parte de índices o portales a cargo de consorcios de editores, instituciones académicas y organismos internacionales, entre otros. La inclusión de revistas en tales índices o portales se basa en criterios explícitos y considerablemente consensuados de calidad editorial (pluralidad del comité editorial y la procedencia de los autores, regularidad en la periodicidad declarada, referato explícito por pares), trayectoria, visibilidad, difusión y repercusión.
A su vez, la difusión del conocimiento científico se ha revolucionado en los últimos años: el uso de plataformas informáticas e Internet ha facilitado el acceso a las publicaciones científicas periódicas, tanto en el caso de revistas ya consolidadas y de referencia internacional como en el caso de revistas nuevas. De este modo, se amplían al mismo tiempo los espacios de producción editorial, se reducen los costos de publicación y se facilita el acceso a los textos.
Frente a esta situación, en el contexto de investigación en ciencias exactas y naturales se ha planteado, en las últimas décadas, una organización jerárquica de las publicaciones periódicas en función del impacto que tienen, en términos de citas, los artículos que se publican en cada una de ellas. Así, las publicaciones periódicas están organizadas en el interior de cada uno de los campos disciplinarios según escalas de alto, medio y bajo impacto, como reflejo del grado de citación. A pesar de los inconvenientes tanto conceptuales como operativos que estas clasificaciones implican, parece existir cierto consenso entre los investigadores de estas disciplinas para el uso de dichas categorías en la evaluación de la producción científica.
Sin embargo esta clasificación basada en el factor de impacto o en el índice de citas no tiene la misma incidencia en las ciencias sociales y las humanidades, tal como ha sido ampliamente reconocido a nivel internacional:
(1) Las prácticas de citas son sensiblemente diferentes (las citas tienen una dinámica más lenta y más perdurable; muchas citas se refieren a libros y no a revistas);
(2) en algunas áreas y temáticas una porción importante se publica en distintas lenguas y circula en comunidades científico-lingüísticas específicas;
(3) los libros -individuales y colectivos- tienen una gran importancia en la producción científica de este campo y no suelen ser incorporados en los índices de citación de las revistas periódicas.
Por lo tanto resulta necesario proponer una organización jerárquica de las publicaciones en función de otro tipo de criterios, más adecuados para considerar la producción científica de las ciencias sociales y las humanidades (CSH).
La jerarquización planteada de las revistas científicas en el área de las Ciencias Sociales y Humanidades tiene como objetivos:
Incrementar el reconocimiento y visibilidad del trabajo de los investigadores de CONICET en revistas científicas de alta calidad y amplia repercusión.
Ofrecer a los investigadores, becarios y evaluadores herramientas para apreciar la calidad y repercusión de revistas científicas según los índices y bases bibliográficas donde están incluidas.
Orientar a los editores nacionales sobre los parámetros de calidad y repercusión pretendidos y mejorar la calidad de las revistas nacionales como medios de comunicación científica.
El presente documento que recoge las consultas a una Comisión ad hoc de Expertos del Área de Ciencias Sociales y Humanidades y un análisis de sus recomendaciones por el propio Directorio está dirigido a la jerarquización orientativa de bases bibliográficas y de indización. Esta orientación no implica una valoración puntual de cada revista ni de la ponderación de la calidad de los artículos en ellas publicados.
Como principios generales, las indagaciones realizadas para asesorar en materia de política de jerarquización de publicaciones sostienen:
– La fijación de estándares de calidad para publicaciones debe contemplar un período de adopción gradual que varía con el estado de desarrollo de los trabajos en vías de publicación y las trayectorias de investigación de los individuos.
– Los criterios bibliométricos, como el Factor de Impacto, no deben ser tomados como criterio para evaluar la calidad de las publicaciones periódicas en CSH.
– Adoptar como requisito básico y fundamental en materia editorial para que un artículo sea considerado científico que haya sido publicado en una revista con referato de pares, claramente indicado, y que cuente con el respaldo de un comité editorial de reconocido prestigio.
– Los tres niveles de jerarquización de índices y portales aquí establecidos constituyen una meta de calidad y repercusión para las publicaciones. La inclusión de revistas en dichos índices viene dado por criterios objetivos y verificables externos al CONICET. Sin embargo la inclusión puntual y de manera excepcional de revistas podrá ser considerada por el Directorio del CONICET a partir de la recomendación explícita por parte de especialistas del campo.
– La jerarquización de los índices de publicaciones científicas no implica la adjudicación de un puntaje predeterminado a cada revista por el nivel o grupo al que pertenece. Debe señalarse que dentro de un mismo nivel o grupo conviven revistas que si bien son de un nivel semejante en comparación con los otros, difieren entre sí respecto de su calidad.
– Los criterios de clasificación mencionados serán públicos y claros, fácilmente accesibles en los sistemas de información de CONICET.
– El seguimiento y actualización de las bases de indización será implementado por el Centro Argentino de Información Científica y Tecnológica, CAICyT.
La resolución muestra el equilibrio entre los criterios dominantes en CONICET y la propuesta de los investigadores de las ciencias sociales y humanidades, incorpora el tema pero no lo resuelve. En primer lugar porque los criterios como el factor de impacto no son solo hoy cuestionados para ciertas áreas disciplinares sino para la totalidad del sistema de evaluación de las ciencias (Véase Osvaldo Barsky, La evaluación de la calidad académica en debate, Teseo-UAI, Buenos Aires, 2014), y de hecho la resolución establece incorrectamente la coexistencia de dos tipos de criterios de evaluación cuando debería realizarse una revisión integral de los mismos, que además haga que el sistema de recolección de información de la producción científica en Argentina salga del estrecho marco de lo recogido por ISI o últimamente por SCOPUS. También es necesario incorporar otros referentes importantes, como los artículos en libros. De todos modos la resolución es un avance al recoger la problemática, aunque la decisión de tipificar las revistas en tres niveles utilizando los monopolios que concentran la edición de las producciones científicas como criterio central no permite salir del manejo de los mismos de la evaluación internacional de la ciencia.
Tercera respuesta: la sanción de la Ley de Repositorios Abiertos para Ciencia y Tecnología
El monopolio de las grandes editoriales internacionales que publican las revistas de ciencia y tecnología comienza a generar respuestas institucionales en distintos país. Argentina ha sido uno de los primeros países en avanzar sobre el peso de estos monopolios, que capturan la difusión de la producción científica e imponen su venta a la comunidad científica y los países. Una de las primeras formas de romper con estos procesos ha sido la sanción de esta ley que hace que los investigadores argentinos financiados por el Estado nacional (la gran mayoría) tengan obligación de que el producto de sus investigaciones financiadas estatalmente está disponible para el uso de la comunidad científica en un plazo no mayor a seis meses.
El 13 de noviembre de 2013 se sancionó la Ley 26.899 de “Repositorios digitales institucionales de acceso abierto”.
En sintonía con los antecedentes y tendencias internacionales de acceso abierto a la producción científica subsidiada con fondos públicos, el proyecto buscar establecer las responsabilidades que les caben a todos y cada uno de los actores involucrados en los procesos de investigación científica en dar acceso abierto a sus resultados a la comunidad científica y la ciudadanía en general, definiendo plazos razonables para la liberación y puesta a disposición de los datos y de la información producida.
En tal sentido, exige que los organismos e instituciones públicas del Sistema Nacional de Ciencia, Tecnología e Innovación (SNCTI) que reciben financiamiento del Estado nacional desarrollen repositorios digitales institucionales de acceso abierto, en los que se depositará la producción científico-tecnológica que sea resultado de la realización de actividades de investigación, otorgando un plazo de seis meses para su implementación contado desde la fecha de su publicación oficial o de su aprobación.
Asimismo, obliga a estas instituciones públicas del sector científico-tecnológico que reciben financiamiento del Estado nacional a establecer políticas para el acceso público a datos primarios de investigación a través de repositorios digitales institucionales de acceso abierto o portales de Sistemas Nacionales de Grandes Instrumentos y Bases de Datos, como así también políticas institucionales para su gestión y preservación a largo plazo.
Establece que todo subsidio o financiamiento proveniente de agencias gubernamentales y de Organismos Nacionales de Ciencia y Tecnología del SNCTI a proyectos de investigación científico-tecnológica que tengan entre sus resultados esperados la generación de datos primarios, documentos y/o publicaciones, contenga dentro de sus cláusulas contractuales la presentación de un plan de gestión acorde a las especificidades propias del área disciplinar, en el caso de datos primarios y, en todos los casos, un plan para garantizar la disponibilidad pública de los resultados esperados; pudiéndose excluir la difusión de aquellos casos en que los mismos debieran mantenerse en confidencialidad por razones estratégicas o de seguridad nacional, o en el caso que dichos datos se encuentren protegidos por derechos de propiedad industrial.
Define la necesidad de que los repositorios digitales institucionales sean compatibles con las normas de interoperabilidad adoptadas internacionalmente y garanticen el libre acceso a sus documentos y datos a través de Internet u otras tecnologías de información que resulten adecuadas a los efectos, facilitando las condiciones necesarias para la protección de los derechos de la institución y del autor sobre las obras.
Establece excepciones a las obligaciones anteriores: en caso de que las producciones científico-tecnológicas y los datos primarios estuvieran protegidos por derechos de propiedad industrial y/o por acuerdos previos con terceros, los autores deberán proporcionar y autorizar el acceso público de los metadatos de dichas obras intelectuales y/o datos primarios, proveyendo información completa sobre los mismos y comprometiéndose a proporcionar acceso al contenido completo a partir del momento de su liberación.
Propuestas de políticas de evaluación de la ciencia en Argentina
Como vemos, las tendencias al cambio del esquema tradicional de control del conocimiento y criterios de evaluación en las ciencias de Argentina se hallan en un proceso de transformaciones relevantes. Dichos cambios ponen en cuestión los rankings internacionales de las universidades basados en la dominancia de la función de investigación calificada por criterios de evaluación crecientemente cuestionados, lo que también afecta al sistema internacional monopólico de generación de revistas científicas y a los organismos controlados por dichas corporaciones editoriales (ISI-SCOPUS).
“Sin prisa pero sin pausa, como las estrellas” (Goethe), los sistemas nacionales de ciencia y los mecanismos de evaluación asociados irán en esta dirección, en la medida que las comunidades académicas y los Estados nacionales van retomando el control de estos procesos.
Se proponen las siguientes políticas en relación con la evaluación y las publicaciones científicas:
1) Cambiar los criterios de evaluación científica en los organismos rectores del sistema de CyT en relación con la cultura de la evaluación incorrectamente subsumida en la cultura de la citación. Prohibir el uso del “factor de impacto” de las revistas como criterio discriminador de la calidad. Eliminar la inadecuada clasificación de las revistas en 1, 2 y 3 y su utilización para categorizar investigadores, utilizada actualmente por las comisiones del CONICET.
2) Exigir la evaluación de los investigadores a partir del análisis de la calidad de su producción científica. Ello implica la obligación de los pares de leer y analizar dicha producción y apreciarla en función de distintos objetivos institucionales. Por ejemplo en el CONICET, en relación con el desarrollo de la carrera del investigador, lo que es diferente a un análisis de calidad y factibilidad de un proyecto.
3) Analizar la calidad de la producción en ciencia aplicada a partir de los criterios específicos que identifican calidad en la disciplina, eliminando el reduccionismo de restringirla a la publicación de papers en revistas con referato.
4) Analizar la calidad de la producción en ciencias sociales y humanidades dando alta relevancia a los libros en editoriales prestigiosas y/o con directores de colección y/o comité editorial, y a los artículos publicados en libros, con la misma importancia (o mayor en el caso de los libros) que a las publicaciones en revistas con referato.
5) Trasladar los criterios de evaluación de la calidad de la producción científica señalados en los puntos 1, 2, 3 y 4 a los organismos como CONEAU en Argentina para que sean debatidos por los pares académicos que integran sus comisiones de evaluación.
6) Plantear a las comunidades la necesidad de crear o fortalecer revistas nacionales/regionales de alto nivel en las áreas de mayor desarrollo científico, incorporando a los académicos de mayor prestigio en su dirección de manera de quebrar la inercia de la publicación en revistas internacionales, como único elemento de prestigio y acumulación de antecedentes. Fortalecer la consolidación y el desarrollo de revistas académicas con referato. Para ello impulsar el debate para que las universidades y otros organismos seleccionen y financien los recursos humanos encargados de su dirección académica y de su gestión técnica y administrativa. En todos los casos utilizar los sistemas de acceso abierto que favorecen la rapidez y economía de las publicaciones.
7) Consolidar a las editoriales universitarias de las universidades estatales y privadas fortaleciendo sus redes, impulsando el desarrollo de comités editoriales y de directores de colección prestigiosos y pagos (directamente o por vías institucionales).
8) Apoyar y fortalecer la acción del CAICyT en Argentina y de las iniciativas como Scielo, Redalic, Latindex.
9) Impulsar el uso del español y del portugués en las publicaciones de Iberoamérica rescatando por las ciencias sociales y humanidades las infinitas ventajas de usar idiomas vernáculos que expresan con riqueza insustituible la producción académica en estos campos para los países de la región.
10) Plantear a las agencias estatales de financiamiento la obligatoriedad de que en todos los proyectos se asigne un porcentaje de los presupuestos de los mismos a la publicación de la producción generada y su difusión.
11) Destinar partidas significativas del presupuesto global de ciencia y tecnología al financiamiento de los procesos de construcción de editoriales científicas/universitarias y revistas nacionales y regionales de calidad.
Barsky, Osvaldo (2014), La evaluación de la calidad académica en debate. Tomo I: Los rankings internacionales de las universidades y el rol de las revistas científicas, Buenos Aires: UAI-Editorial Teseo.
Bernal, John D. (1979), La ciencia de nuestro tiempo. México: Ed. Nueva Imagen.
Biojone, Mariana Rocha (2002), “Presencia de las revistas latinoamericanas, caribeñas, españolas y portuguesas en las bases de datos internacionales”. En Primera Reunión Regional de la red Scielo, Valparaíso, Chile, 30 sept-2 oct.
Borges, Jorge Luis (2005), “La biblioteca de Babel” en Obras Completas I (3ª.ed.), Barcelona, RBA.
Cole, Stephen y Cole Jonathan R. (1967), “Scientific Outpout and Recognition: A Study in the Operation of the Reward System in Science”, American Sociological Review, Volume 32, Issue 3 (Jun.), 377-390.
Cole, Jonathan y Cole, Stephen (1971), “Measuring the Quality of Sociological Research: Problems in the Use of the Science Citation Index”. The American Sociologist, 1971, Vol. 6 (February), 23-29.
Elzinga, Aant (1988). “Bernalism, Comintern and the Science of Science. Criticial Science Movements then and Now”. En J.Annerstedt y A. Jamison (comps). From Research Policiy to Social Intelligence. Londres, Macmillan.
Garfield, E. (1955), “Citation Indexes for Science. A New Dimension in Documentation through Association of Ideas”, Science 122, 108-111.
Garfield, E. (1979), Citation Indexing, Philadelphia: ISI.
Garfield, Eugene (2005), “El tormento y el éxtasis. La historia y el significado del factor de impacto”, ponencia en el Congreso Internacional sobre la revisión y publicación biomédica, Chicago, 16 de septiembre.
Garfield, Eugene (2007), “Tracing the Influence of JD Bernal on the World of Science through Citation Analysis”. Presented at Bernal Symposium on Protein Crystallisation. University College, Dublin, Belfield, 3-4 September.
Merton, Robert K. (1964). Teoría y estructuras sociales. Fondo de Cultura Económica, México.
Orozco, Luis A. y Chavarro, Andrés “Robert Merton (1910-2003), “La ciencia como institución”. Revista de Estudios Sociales Nº 37, diciembre de 2010. Bogotá: Universidad de los Andes.
Ortiz, Renato (2009), La supremacía del inglés en las ciencias sociales, Buenos Aires: Ed. Siglo Veintiuno.
Patalano, Mercedes (2005), “Las publicaciones del campo científico: las revistas académicas de América Latina”. Anales de documentación, Nº 8, 217-235, Buenos Aires.
Solla Price de, John (1973), Hacia una ciencia de la ciencia, Barcelona: Ariel.
Spinak, Ernesto (1996), “Los análisis cuantitativos de la literatura científica y su validez para juzgar la producción latinoamericana”, Boletín de la Oficina Sanitaria Panamericana Nº 120(2).
Wouters, Paul (1988). “The Citation Culture”. Doctoral Thesis, University of Amsterdam.
Nikolái Ivánovich Bujarin, político, economista y filósofo marxista revolucionario ruso. Principal ideólogo de la Nueva Política Económica durante la década de 1920, se opuso a la colectivización agrícola forzada. Tras haber colaborado con Stalin en la derrota de la Oposición Unificada, fue apartado del poder por él en 1929. Reapareció en cargos menores a mediados de la década siguiente antes de ser víctima de la Gran Purga; murió ejecutado en 1938. En 1930, había perdido sus cargos en la dirección del partido y del Estado, aunque su sometimiento a la disciplina del partido le permitió continuar en el comité central, si bien no en el politburó. Bujarin pasó a un puesto secundario, el de presidente de la Comisión del Departamento Científico y Técnico del Consejo Supremo de la Economía Nacional y de ahí su participación en el Congreso de Londres.↵
Tanto Bujarin como Hessen fueron asesinados durante los juicios del estalinismo conocidos como la Gran Purga de 1938, y otros de los participantes en el Congreso de Londres, como el genetista Vavilov, en procesos operados en los años siguientes donde las pujas científicas se dirimían en el terreno político del terrorismo de Estado.↵
El origen marxista de Bernal era decisivo para su visión integral sobre la relación entre sociedad y ciencia. Entre 1873 y 1886 Fredrich Engels, uno de los fundadores de esta teoría, había escrito su notable ensayo Dialéctica de la naturaleza, que pasaba revista al desarrollo y estado de las ciencias naturales. Allí ya señalaba en relación con la acumulación del conocimiento científico: “La investigación empírica de la naturaleza ha acumulado una masa tan gigantesca de conocimientos de orden positivo, que la necesidad de ordenarlos sistemáticamente y ateniéndose a sus nexos internos, dentro de cada campo de investigación, constituye una exigencia sencillamente imperativa e irrefutable. Y no menos lo es la necesidad de establecer la debida conexión ente los diversos campos del conocimiento”. Merton, en sus estudios fundacionales de la sociología de la ciencia, rescata los planteos de Marx y Engels sobre las interconexiones entre la ciencia y la sociedad, señalando: “… desde los tiempos de Marx y Engels hubo, desgraciadamente, pocos estudios empíricos sobre las relaciones entre la ciencia y la estructura social (…) En la sociología de la ciencia, como en otros campos, podemos volver provechosamente a la sabiduría del apotegma de Whitehead: ‘Una ciencia que titubea en olvidar a sus fundadores está perdida’” (Merton, 1964: 527). ↵
En el campo de la literatura estas ideas encontrarían desarrollos similares. En el cuento del escritor Jorge Luis Borges “La Biblioteca de Babel”, publicado en 1941 y en la que se pretendía acumular la totalidad del conocimiento mundial se señalaba: “También se descifró el contenido: nociones de análisis combinatorio, ilustradas por ejemplos de variaciones con repetición ilimitada. Esos ejemplos permitieron que un bibliotecario de genio descubriera la ley fundamental de la Biblioteca. Este pensador observó que todos los libros, por diversos que sean, constan de elementos iguales: el espacio, el punto, la coma, las veintidós letras del alfabeto. También alegó un hecho que todos los viajeros han confirmado: no hay en la vasta Biblioteca dos libros idénticos. De esas premisas incontrovertibles dedujo que la Biblioteca es total y que sus anaqueles registran todas las posibles combinaciones de los veintitantos símbolos ortográficos (número, aunque vastísimo, no infinito), o sea todo lo que es dable expresar: en todos los idiomas. Todo: la historia minuciosa del porvenir, la autobiografía de los arcángeles, el catálogo fiel de la Biblioteca, miles y miles de catálogos falsos, la demostración de la falacia de esos catálogos falsos, la demostración de la falacia de esos catálogos verdaderos… Cuando se proclamó que la Biblioteca abarcaba todos los libros, la primera impresión fue de extraordinaria felicidad. Todos los hombres se sintieron señores de un tesoro intacto y secreto. No había problema personal o mundial cuya solución no existiera: en algún hexágono”. ↵
En un artículo publicado en 1967 identificaron la cantidad de citas recibidas por un artículo y un grupo de artículos de una muestra de físicos norteamericanos con la relativa importancia de la calidad de dichos artículos en el área. Pero un año después, en 1968, afirman: “… cuando se controla la calidad de los trabajos de los físicos, la cantidad prácticamente no produce ningún efecto independiente sobre la visibilidad. De allí que podamos concluir que, para los físicos que producen artículos de gran calidad, no tiene mayor importancia que su lista bibliográfica sea extensa o no” (1967: 397).↵
Al explicitar los criterios con que el ISI selecciona las revistas a incluir en sus selectivos listados, el director de Desarrollo Editorial de Thomson Reuters, Jim Testa, señalaba en 2009: “Cada revista se somete a un extenso proceso de evaluación antes de ser seleccionada o rechazada. Los editores del ISI que realizan las evaluaciones de revistas cuentan con una formación educacional apropiada para sus áreas de responsabilidad, así como experiencia e instrucción en la ciencia de la información. Su conocimiento de la literatura de sus campos de especialización se amplía mediante la consulta a redes establecidas de asesores, quienes participan en el proceso de evaluación cuando es necesario”. Es decir que el proceso supone un staff con un conocimiento completo sobre la literatura científica internacional publicada en gran cantidad de idiomas. Pero en realidad ello no es así, porque claramente se señala que “los títulos de los artículos en inglés, los resúmenes, y las palabras claves son esenciales. También se recomiendan las referencias citadas en lengua inglesa”. Finalmente los criterios que son tomados para ser incorporados son esencialmente formales: “El ISI también observa si la revista cumple o no los requisitos editoriales internacionales, que ayudan a perfeccionar la recuperación de los artículos originales. Estos requisitos incluyen títulos de revistas informativos, títulos de artículos y resúmenes completamente descriptivos, datos bibliográficos completos en todas las referencias citadas, e información completa sobre la dirección para cada autor”.↵

References: Resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución