Desde mi sillón

Un blog de «El Correo de las Indias»

Grupo de Cooperativas de las Indias

Dos manifiestos contra la cienciometría

Lo que me parece más interesante es la consideración de la investigación como un bien comunal de esos que, como un pasto, pueden ser utilizados por todo el mundo aunque, a diferencia de un bien público puro, como la luz de una farola, no pueden ser utilizados por cualquiera en su totalidad.

sciencemetrics

Como continuación al reciente minipost escrito contra la posible tendencia a seguir la corriente y la necesidad de escribir realmente en la parte de atrás de una hoja cualquiera de ese tipo de papel rayado, papel pautado, tal como aconsejaba Juan Ramón Jiménez, parece conveniente hacerse eco de las cada día más abundantes protestas contra las simplistas evaluaciones científicas de tipo cuantitativo, basadas en indicadores cuyas características no se conocen muy bien, así como reflexionar un poco sobre la eliminación de los perversos efectos posibles de estas medidas si no se combinan con el buen sentido de los sabios que saben en qué medida su juicio puede ser más afilado que un simple número.

Me acabo de topar, a través de amigos que conocen mis debilidades así como mis filias y mis fobias, con dos Manifiestos recientes sobre estas materias: 1) The Leiden Manifesto for researc metrics, de Diana Hicks and others publicado en Nature el 23 de abril y 2) The Academic Manifesto: from an occupied to a Public University, de Halffman y Radder, publicado on line el 3 de abril. El primero, bastante neutro y general, y el segundo, mucho más político y centrado en la Universidad, me resultan imprescindibles para tratar de salvar la investigación de la pobre creencia simplista de que las métricas, casi cualquier métrica de las existentes, son imprescindibles para garantizar la calidad de la investigación. Este tipo de creencias hace el juego a las fuerzas invasoras de la libertad creativa y enemigas de la supervivencia de la rica serenidad universitaria.

El manifiesto de Leiden ofrece un decálogo inteligente de cómo usar la cienciometría, además de un resumen inicial de la reciente historia de la evolución de las fuentes de datos y de los correspondientes indicadores basados en los datos recogidos en esas fuentes, desde el Science Citation Index y la Web of Science hasta otras más recientes que tienen en cuenta el uso social de los trabajos y los comentarios on line. De esas fuentes salen métricas como el «índice h» o el índice de impacto de las revistas científicas así como los varios rankings de instituciones. El decálogo me parece de lectura obligatoria a la luz de la situación presente descrita por este Manifiesto de la siguiente forma descarnada. En mi traducción apresurada dice así:

Los datos son cada vez más usados en el gobierno de la ciencia. Las evaluaciones de la investigación que en su día fueron encargadas a y realizadas por pares son ahora rutinarias y basadas en métricas. El problema es que la evaluación es ahora conducida más bien por datos que por el (buen) juicio. Las métricas han proliferado : normalmente con buenas intenciones, no siempre bien informadas y a menudo mal aplicadas.

Las recomendaciones del decálogo están bien pensadas y tratan de eliminar las consecuencias más peligrosas del uso mecánico de las métricas como la ignorancia de la importancia local que puede tener una pieza de investigación o la misión específica de la institución de donde sale una investigación determinada. Su aplicación cuidadosa mejoraría mucho la evaluación y solucionaría no pocas de las quejas expresadas en el otro Manifiesto que podríamos denominar el Manifiesto Holandés y que pone el énfasis en la Universidad como institución de donde surge buena parte de la investigación. Su Abstract dice así:

Universities are occupied by management, a regime obsessed with «accountability» through measurement, increased competition, efficiency, «excellence», and misconceived economic salvation. Given the occupation’s absurd side-effects, we ask ourselves how management has succeeded in taking over our precious universities.

An alternative vision for the academic future consists of a public university, more akin to a socially engaged knowledge commons than to a corporation. We suggest some provocative measures to bring about such a university. However, as management seems impervious to cogent arguments, such changes can only happen if academics take action. Hence, we explore several strategies for a renewed university politics.

Las estrategias para librarse de la ocupación de la institución por fuerzas ciegas a la sabiduría pueden parece un poco ingenuas y anticuadas de forma que solo atraerán a los mayores como yo que recordamos otras épocas en las que la rebelión parecía posible. El análisis de las causas es menos simple y sobre todo admite gallardamente nuestra propia culpa en la situación acusándonos a los profesores universitarios de haber permitido, por ejemplo, que un libro pese menos que un artículo con independencia de las ideas contenidas en una u otra pieza de investigación. Pero lo que me parece más interesante es la consideración de la investigación como un bien comunal de esos que, como un pasto, pueden ser utilizados por todo el mundo aunque, a diferencia de un bien público puro, como la luz de una farola, no pueden ser utilizados por cualquiera en su totalidad.

Aun abstrayendo de estas especificidades, este segundo manifiesto es mucho más crítico con la evaluación en general y no solo con la basada en datos y con la ausencia del buen juicio de los pares. Estas evaluaciones serían el instrumento de la Okupación de las universidades por el poder aquí identificado como un lobo de siete cabezas. Para hacerse una idea de la acritud de los holandeses basta con recordar que se trata de una publicación open source y con leer con cuidado el resumen que ya se ha copiado.

Es de mucho interés la adscripción de la investigación y del conocimiento así producido a la categoría de un comunal aunque, salvo precisiones que ahora no me interesan y que podría llevar a considerarla como un bien público. Lo importante es que hay que tener mucho cuidado con la manera que se utiliza para asignar su output entre los consumidores del mismo. No basta el libre mercado pero tampoco sirven necesariamente arreglos que han podido ser aplicados a otros bienes comunales que suelen tener un alcance relativamente local.

Su privatización no sería una solución sabia especialmente cuando en ese posible mercado hay unas enormes fuerzas retardatarias del saber que es confundido con la información útil. Hay que seguir hablando de todo esto y no nos deben bastar los trabajos, bienvenidos en cualquier caso, que se limiten a tratar aspectos específicos como pudiera ser la relación posible entre el uso de métricas y los correspondientes clasificaciones de la calidad con la autonomía de un centro universitario y la correspondiente forma de gobierno. Este artículo por ejemplo, sintomáticamente encargado por el National Bureau of Economic Research, da por hecho que las métricas pueden ser usadas sin tratar de entender los valores subyacentes o eso es lo que me parece.

«Dos manifiestos contra la cienciometría» recibió 1 desde que se publicó el Lunes 11 de Mayo de 2015 . Si te ha gustado este post quizá te gusten otros posts escritos por Juan Urrutia.

Comentarios recibidos en este post y unidos a la discusión global de todos a través de la Matriz, nuestro espacio conversacional.

Si no tienes todavía usuario puedes crear uno, que te servirá para comentar en todos nuestros blogs en la
página de registro de Matríz.

El Correo de las Indias es el agregador y plataforma de blogs de los socios del Grupo Cooperativo de las Indias y es mantenido y coordinado por los miembros de la comunidad igualitaria de las Indias