Malas prácticas de investigación en Documentación

Aunque comparto el llamado a la investigación en Bibliometría realizado por Elea me gustaría puntualizar que la disciplina ha sufrido y viene padeciendo aún de demasiadas malas prácticas de investigación que deben ser denunciadas y perseguidas antes de incrementar nuestro esfuerzo en el área.

La investigación cuantitativa requiere de un adecuado diseño, que va mucho mas allá de la elección de la base de datos a interrogar, la estrategia a utilizar y el software que se aplicará. Es triste comprobar que es práctica habitual seleccionar las herramientas antes del problema a solucionar, fijando objetivos y hasta resultados a priori, incluso antes de obtener los registros. Con mucha frecuencia ello da lugar a resultados obvios o baladíes que no aportan nada o que contienen errores de bulto.

El afán por publicar da lugar a que se publiquen estudios con bases inadecuadas, con tamaños muestrales ridículos, o a partir de estrategias que o bien generan muestras sobredimensionadas o dejan sin analizar poblaciones enormes. Silencios y ruidos documentales que inutilizan muchas de las tesis doctorales leídas en documentación en los últimos años.

Poca innovación en una disciplina donde los estudios repiten errores de bulto una y otra vez simplemente cambiando la ventana temporal (donde antes era 1996-2000, léase ahora 2001-2005). La utilización de la misma base de datos (ISI-Thomson), cuyos sesgos evidentes son ignorados, queda ahora en entredicho con la aparición de competidores (Scopus) cuyos resultados no ya solo puntuales sino globales dibujan un escenario completamente diferente.

La persistente negación a utilizar técnicas de fraccionamiento en el estudio de la autoría, y la ignorancia respecto al crecimiento en el tamaño de las bases lleva a conclusiones falsas o ilusorias (crecimiento de la producción) que tienen una indudable repercusión para la política científica de un país.

El análisis de citas es prácticamente ignorado y se sustituyen los datos reales de citas por el valor del factor de impacto de la revista (citas esperadas en vez de reales), lo que aunque facilita la tarea desdibuja totalmente la realidad.

La irrupción del índice h demuestra las posibilidades de la disciplina, pero su uso generalizado fuera de las áreas de excelencia, da lugar a clasificaciones ridículas o inservibles.

La evaluación de revistas sigue lastrada por el peso de indicadores formales o basados en opinión de expertos, que bien por problemas de diseño o por la utilización de paneles con escasos miembros o poco representativos no terminan de responder a las necesidades reales.

La ignorancia del medio Web, ya el canal más importante de comunicación científica, demuestra cuan lejos está la disciplina de cumplir sus verdaderos objetivos en la descripción y evaluación de la actividad investigadora.

Isidro F. Aguillo
Cybermetrics Lab
CINDOC-CSIC
www.webometrics.info
www.cindoc.csic.es/cybermetrics
internetlab.cindoc.csic.es

0 comentarios Escribir un comentario

  1. Vaya, me parece muy interesante y acertada la reflexión.
    Pero me ha llamado poderosamente la atención el último párrafo. Según he entendido, se finaliza afirmando que la Web es el canal más importante de comunicación científica.
    Aunque creo que eso es inegable en determinados dominios (informática o incluso LIS), se me hace difícil imaginar que es así en otros. De ser así, la bibliometría sería la única disciplina que ignora la Web.

  2. Este ejercicio de autocrítica era necesario. Tienes mucha razón en muchas de tus afirmaciones, Isidro.
    Aún así, me gustaría puntualizar alguna cuestión. Empezando por el final, no es que la Bibliometría no preste atención a la web, es que los indicadores de impacto, de consumo de información, de colaboración, etc. que pueden extraerse a través de ella aún están inmaduros. Ya hay grupos y empresas que trabajan en la elaboración de una suerte de factor de impacto que sería aplicable a los artículos y no a las revistas y que acabaría con esa idea de que todo lo que publica una revista con factor de impacto alto tiene factor de impacto alto.

    Además, no todo el mundo ignora la web. Vuestro grupo lo observa muy de cerca 🙂 y sois pioneros en Cibermetría en España. Pasar de los estudios cuantitativos a los cualitativos es algo más complejo que requiere algo más de tiempo.

    Por otra parte, es cierto que hay multitud de estudios llamados bibliométricos en los que sólo se aportan datos descriptivos y quizá poco representativos por la mencionada limitación de las muestras, y pocos estudios que realmente interpreten, complementen los indicadores bibliométricos con otros de tipo socioeconómico o político y den lugar a la toma de decisiones en la políticas científica.

    Por último, y por lo cercano del tema, no puedo dejar de recordar que los sistemas de evaluación de revistas científicas en España han aplicado mucho más que criterios formales o externos de la revistas y puntuaciones asignadas por los pares (por cierto, que cuando se han hecho encuestas al profesorado y a los investigadores se ha enviado al total de la población, aunque las tasas de respuesta siempre son variables). Sistemas de evaluación de contenido, difusión en bases de datos internacionales, composición de los consejos de redacción y de los comités científicos, factores de impacto adaptados a las particularidades de cada disiciplina … en fin, indicadores muy variados para poder juzgar la calidad de una revista de manera justa (véase RESH , DICE , IN RECs o MIAR )

    Saludos,

    Elea

  3. Creo que el «afán de publicar» no debería ser mirado como un hecho negativo, más bien la responsabilidad debe recaer sobre los sistemas de filtro en revistas y congresos. En las revistas además, se echa en falta la existencia de apartados de debate, réplicas y contrarréplicas a un artículo, muy pocas revistas lo hacen.

    Otro motivo de rechazo de un artículo debería ser el que repitiese contenidos ya publicados. La existencia del texto completo en abierto deberá facilitar que se detecten las reiteraciones. Desgraciadamente, las revistas españolas en muchos casos parecen seguir apostando por retrasar la salida de artículos, con periodos de embargo, sin anunciar siquiera el sumario hasta que no ha salido el número de imprenta,…

  4. He leído con atención el tema propuesto por Elea y la replíca de Isidro.

    Sin ánimo de crear polémica, pero sí con la idea de mejorar nuestra investigación, aprovecho para dejar dos comentarios:

    1.- Enseñar al investigador: como profesor universitario he tenido que ir aprendiendo, dentro de equipos más o menos consolidados, a plantear una investigación. Fuera de los Institutos y Fundaciones, el resto de los investigadores se han ido autorformando. Luego, suceden cosas como las que proponen: muestras insignificantes que se toman como parte principal de la investigación o resultados previos al propio estudio.
    2.- Tiempo para la investigación: se trata de un ejercicio matemático. Si tengo cerca de 500 alumnos todos los años y quiero y debo atenderles como me pide la sociedad (y he sometido con buenas notas mis asignaturas a control de calidad en la Universidad) ¿Cuándo me queda tiempo para la investigación? ¿Puedo presentar las mismas publiaciones que otros docentes con menor número de alumnos? ¿Por que no se valora la buena docencia, la que nos obliga a dedicar tiempo y esfuerzo para conseguir unos excelentes profesionales y unas mejores personas?