ARTÍCULO DE REVISIÓN/ REVIEW ARTICLE Revisiones Clínicas/Clinical reviews

El Factor de Impacto (FI) en la evaluación de las revistas biomédicas

The Impact Factor (IF) in the evaluation of biomedical journals

Carlo V. Caballero Uribe¹; Mayra Cuello, Ayleen Lubo², Diana Martínez, Angela Marriaga², Francisco Ospino² Sandy Palacio²

Resumen

Existen índices bibliométricos para valorar la producción científica en las ciencias de la salud, entre ellos, el Factor de Impacto, publicado en SCI-JCR, donde están incluidas más de 7.000 publicaciones predominantemente escritas en inglés y de donde están ausentes la mayoría de las revistas latinoamericanas.

Este artículo hace una revisión de la definición, cálculo, ventajas y desventajas del Factor de Impacto (FI) y evalúa otros estándares deseados como criterios de calidad que lleven a una valoración integral de las revistas médicas.

Palabras claves: Factor de Impacto, revistas médicas, bibliometría, calidad editorial / Salud Uninorte. Barranquilla (Col.) 2006; 22 (2): 92-104

Abstract

The evaluation of scientific production is realized through bibliometric indices. One of them is the Impact Factor, based on the count of citations that a scientific journal receives in a year or period. It is published in SCI-JCR, that includes more than 7.000 scientific magazines written in English, and that doesn't include most of Latin American journals. Therefore, it's not possible to calculate the Impact Factor for most of Latin American publications, which makes convenient the creation of an indicator of their influence on health science. This article includes the definition, calculation, advantages and disadvantages of the Impact Factor and other desired standards for the quality of the publications that may contribute to a better evaluation of medical journals.

Key words: Impact factor, medical journals, bibliometry, editorial quality / Salud Uninorte. Barranquilla (Col.) 2006; 22 (2): 92-104

INTRODUCCIÓN

En las denominadas ciencias de la vida y de la salud, la cuantificación y posterior valoración de la producción científica escrita ocupa un lugar preeminente (1). Uno de los parámetros más empleado en la valoración de las publicaciones científicas es el Factor de Impacto (FI), publicado en el Science Citation lndex-Journal Citation reports (SCI-JCR), que valora el número de citas que recibe una revista por parte de otras (2, 3,).

Mediante la bibliometría se han elaborado diversos indicadores que permiten realizar extensos y pormenorizados análisis de la actividad científica de grupos y centros de investigación, de países enteros o de ramas particulares de la ciencia (4,5). El Factor de Impacto se ha logrado posicionar como el índice bibliométrico más importante y determinante en muchos casos del futuro de revistas biomédicas, de investigadores o centros de investigación que requieren publicar sus artículos en revistas con buena visibilidad, para lo cual se requiere que tengan el mejor FI posible (6).

En este artículo nos proponemos hacer una revisión en profundidad de qué es el FI, cómo se mide, cuáles son sus ventajas y limitaciones, qué adaptaciones se han propuesto y qué otros factores deben y deberán ser tenidos en cuenta además del FI cuando se evalué una revista biomédica.

1. Definición

El FI es una herramienta cuantitativa para evaluar, categorizar y comparar revistas, mediante la medida de frecuencia con la cual los artículos de una revista han sido citados en un año o período (2,6). La primera vez que se mencionó la idea de un FI fue en Science en 1955 y Eugene Garfield publicó en 1961 el Science Citation Index (SCI).

Posteriormente se creó el Journal Citation Reports en 1975 (6,7). Actualmente se publica el Factor de Impacto de más de 7.000 revistas. Se ha descrito que existen valores de Factor de Impacto para aproximadamente 8.000 revistas que citan 12.000.000 de referencias por año, donde el puntaje puede variar desde 0.5 hasta 3.000 (6,7,8).

Según Eugene Garfield, el FI es una aproximación del grado de prestigio de las revistas, que en condiciones óptimas se puede complementar con otras consideraciones, como la evaluación por pares, la productividad y tasas de citación de temas especializados (6). Ya que el concepto de Factor de Impacto está basado en la contabilización de las citas que reciben las publicaciones individuales, el Factor de Impacto sería un "indicador de difusión a muy corto plazo entre la comunidad científica de mayor influencia" (6,9). La tabla 1 muestra algunas revistas biomédicas de gran reconocimiento y su FI (6) .

2. Medición del Factor de Impacto

El FI se calcula generalmente con base en un período de 3 años. De esta manera, el FI de una revista en un año determinado se calcula a partir del número de artículos citados por esa revista en los dos años anteriores publicados por las revistas incluidas en el SCI durante ese período. Este número de citaciones se divide por el número de artículos publicados por la revista en cuestión durante el mismo período (2, 3).

Por ejemplo, el Factor de Impacto en el año 2005 para una determinada publicación puede calcularse como sigue:

A = Número de veces en que los artículos publicados en el período 2003-2004 han sido citados por las publicaciones a las que se les hizo seguimiento a lo largo del año 2005

B = Número de artículos publicados en el período 2003-2004. Factor de Impacto 2005 = A/B

Por ejemplo, deseamos calcular el FI de una revista que durante 2005 recibió 15 citas a documentos publicados en 2004 y 29 citas a documentos publicados en 2003, lo cual corresponde a 44 citaciones en los 2 años previos a el año que se desea calcular cubriendo el período de tres años (2003-2005). El número de artículos publicados (citables) en 2004 fue de 87 y el número de artículos publicados (citables) en 2003 fue de 98, para un total de 185 artículos publicados (citables). El FI se obtiene al dividir A/B, es decir, 44/185, para un total de 0,238.

El Instituto de Información Científica excluye cierto tipo de artículos, tales como artículos de noticias, correspondencia y fe de erratas del denominador. También, para publicaciones nuevas, el mencionado Instituto puede calcular en ocasiones un factor de impacto con solo 2 años de información.

Una de sus variantes, el llamado índice de inmediatez (2,3,6), es una medida de la rapidez con que se citan las contribuciones publicadas en una revista; se calcula en la misma forma que el Factor de Impacto, pero la relación citas/artículos publicados se realiza sobre la base del año para el que se determina. Por ejemplo, el índice de inmediatez de una revista para 2004 relaciona las citas recibidas durante 2004 con los artículos publicados durante ese mismo año.

3. Importancia del Factor de Impacto

El FI es una medida objetiva útil para poder comparar distintas publicaciones y grupos de investigación que se puede utilizar en los ambientes institucionales o de patrocinio de investigadores para definir premios académicos o inversiones financieras (6) .

Las propiedades favorables del Factor de Impacto incluyen (6, 10, 11,12):

• Cobertura internacional amplia con más de 8.000 publicaciones de 60 países.

• Los resultados están disponibles gratuitamente.

• Es fácil de usar y entender.

• Permite realizar comparaciones entre revistas, como, por ejemplo, en concursos y/o posiciones a plazas docentes o investigadoras.

• Puede ser determinante en la selección de revistas por parte de bibliotecarios o especialistas en documentación.

• Puede jugar un papel clave en la estrategia de los editores de revistas o en la de los propios investigadores en el momento de enviar un manuscrito.

Sin embargo, un amplio análisis de las revistas y sus factores de impacto muestra unas características muy consistentes en relación con el FI que hay que tener en consideración cuando se revisa una revista médica sólo definida por su FI (13, 14, 15, 16,17) (tabla 2):

Estos problemas se derivan en parte de la poca visibilidad de nuestras revistas, las barreras ocasionadas por el lenguaje de publicación, el acceso de parte de la comunidad científica a nuestras publicaciones, entre otros factores (17, 18, 19, 20, 21,22). De hecho, hay grandes críticas al FI y se están sugiriendo adaptaciones y evaluaciones más integrales de la calidad de la revista, como veremos en los siguientes ítems (23, 24, 25, 26,27).

Es importante también destacar que falta una cultura de citar lo propio por parte de los autores iberoamericanos. De alguna manera, se menosprecia la investigación producida en la región, precisamente por considerar que no se publica en revistas de alto impacto, y no se logra ese impacto porque no se citan las publicaciones, debido a lo cual se establece un círculo vicioso y perverso. De alguna manera, una forma de incrementar las citaciones de nuestras revistas es siempre buscar y citar, además de las fuentes internacionales tradicionales, la investigación original de calidad producida en la región, que cada vez está más disponible en bases de datos a través de Internet, como veremos posteriormente. En la tabla 3 (28) se encuentran los FI de algunas de las revistas más prestigiosas de América Latina.

4. Limitaciones del Factor de Impacto (FI)

El FI como marcador de "excelencia científica" tiene sus limitaciones (17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27). Los factores de impacto reflejan más la revista que los artículos publicados. Asumir que todos los artículos de una revista son de similar calidad es erróneo. Aunque los artículos más citados son una pequeña fracción de los que se publican en una revista, contribuyen abrumadoramente al FI de las mismas. En general, los trabajos más citados tienen una tasa de citaciones 10 veces superior a los otros. El FI de las revistas puede variar con el tiempo tanto en números absolutos como en su posición. Los cambios en el interés clínico pueden afectarlo. Por ejemplo, la asociación entre Helicobacter Pylori y úlcera duodenal y su impacto en la terapia pudo haber aumentado el FI de las revistas de gastroenterología. Otro factor que hay que considerar es que El FI no nos informa sobre la solidez del proceso de revisión por pares (29, 30, 31, 32, 33).

El incremento de las bases de datos electrónicas como PubMed o Embase facilita el acceso de los investigadores a mayor información, y no necesariamente significa las más apropiadas e influyentes referencias bibliográficas (como por ej emplo, la primera observación clínica o la demostración de un nuevo concepto clínico) (34,35,36).

El Factor de Impacto puede ser manipulado tanto por los autores como por los editores (37,38, 39,). Para el cálculo del FI en el numerador, el ISI incluye todas las citas recibidas por una revista durante un año determinado, mientras en el cálculo del denominador sólo se incluyen los artículos originales, notas y revisiones. Documentos como cartas al editor o editoriales son citados y consiguen aumentar el número de citas, sin contabilizarse como documentos citables para el denominador. Por ello, el FI de algunas revistas puede estar sobrevalorado cuando tienden a publicar una mayor cantidad de documentos del tipo de los que se excluyen del denominador del FI (editoriales, cartas o resúmenes de congresos). Otra forma de aumentar el FI es estimular la publicación de artículos de revisión, minirrevisiones o reportes técnicos y limitar la de artículos originales, favoreciendo aquellos artículos que tienen mayor probabilidad de ser citados. También se puede de alguna manera introducir sesgo en los indicadores bibliométricos incrementando la tasa de autocitaciones, citando artículos publicados en la misma revista o artículos publicados por el mismo autor. Otro método que se observa con frecuencia es partir las publicaciones y presentar un mismo trabajo en dos o tres artículos con ligeras variaciones.

La metodología de las referencias o citaciones muestra varias inconsistencias. Errores menores en la preparación de la lista de referencias (errores tipográficos, inconsistencias en deletrear los apellidos y el uso de iniciales) ocurren hasta en el 10% de las citaciones, y afecta con frecuencia a autores con apellidos no sajones (40,41).

Según el inventor del FI, Garfield, algunas de estas limitaciones tienen cierta razón, y en casos acepta que podría haber cierta distorsión; pero se ha demostrado que el resultado inal no varía mucho, y las revistas en general consideradas como más prestigiosas por la comunidad médica reciben el mayor número de citaciones (6).

De hecho, él mismo cita a Hoeffel (42) cuando dice : "El FI no es una medida perfecta para medir la calidad de los artículos, pero no hay nada mejor, y tiene la ventaja de que ya existe y ha probado ser una buena técnica de evaluación cientíica. La experiencia ha mostrado que en cada especialidad las mejores revistas son aquellas donde más trabajo cuesta que acepten un trabajo, y usualmente son aquellas con mayor factor de Impacto. Muchas de estas revistas ya existían antes del FI. El uso del FI como una medida de calidad es generalizada porque usualmente correlaciona bien con la opinión que tenemos de cada revista en nuestra especialidad".

En la tabla 4 (21) se muestran las condiciones más frecuentes que pueden inluir inadecuadamente sobre el FI, en la tabla 5 se muestran algunas razones validas para realizar una cita (38, 39) y en la tabla 6 los criterios de selección que se tiene por parte de ISI (2).

5. Adaptaciones del Factor de Impacto

El estudio "Factor de impacto potencial de las revistas médicas españolas" es un proyecto elaborado por el Instituto de Historia de la Ciencia y Documentación López Piñero, y financiado por Subdirección General de Estudios y Análisis del Ministerio de Educación, Cultura y Deporte en Valencia. Su objetivo principal es determinar el Factor Impacto Nacional e Internacional de las revistas biomédicas españolas (40).

El Factor de Impacto Nacional se calcula considerando únicamente las citas que las revistas españolas reciben de un grupo de alrededor de 100 revistas nacionales (revistas fuente o citadoras). El criterio de selección de estas revistas ha sido su inclusión en la base de datos IME y en alguna otra bases de datos internacional como Medline, Embase y Science Citation Index. A las 87 revistas iniciales que en 2001 cumplían este criterio, se han ido añadiendo en años posteriores otras que han resultado muy citadas y que no formaban parte de la cobertura inicial. Por el contrario, se han eliminado otras que posteriormente dejaron de publicarse.

Para calcular el Factor de Impacto de una determinada revista se suman todas las citas que ha recibido en los dos años anteriores al del cálculo y se dividen por el número total de artículos publicados en esos dos años.

6. Otros factores en la evaluación de una revista

Existen muchas revistas, no exentas de calidad, que por diversas razones no se encuentran incluidas en las fuentes de información arriba citadas o en determinados listados emitidos por organismos competentes. Sin embargo, es posible emitir una valoración sobre ellas atendiendo a determinados criterios (43, 44, 45):

1) El prestigio reconocido, medido por su presencia en las grandes bases de datos internacionales de las disciplinas correspondientes o en los grandes centros de suministro de documentos, como el British Library Documents Supply Centre. En Latinoamérica existen varias bases de datos y proyectos como la Biblioteca Virtual de la Salud (BVS) (www.bvsalud.org), donde se pueden encontrar artículos que cumplen con criterios de excelencia y que están en bases de datos como LILACS (Literatura latino-Americana y del Caribe en Ciencias de la salud), que es una base de datos cooperativa del Centro Latinoamericano y del Caribe de Información en Ciencias de la Salud (Bireme) y comprende la literatura relativa a las Ciencias da Salud, publicada en los países de la región, desde 1982. Contiene artículos de cerca de 670 revistas del área de la salud. También se encuentra el proyecto Scielo (SciELO-Scientific Electronic Library Online- www.scielo.org), que es una biblioteca virtual de revistas científicas inicialmente brasileñas y ahora de toda Latinoamérica en formato electrónico. Ella organiza y publica textos íntegros de revistas en Internet, además de producir y publicar indicadores acerca de su uso e impacto. La biblioteca funciona con la metodología SciELO, que prepara, almacena, divulga y evalúa publicaciones científicas en formato electrónico, cuya primera fase se realizó entre febrero de 1997 y marzo de 1998. El proyecto es resultado de una asociación entre la Fundación de Protección a la Investigación del Estado de Sao Paulo (Fapesp), el (Bireme) y los editores de revistas científicas. En México se ha venido trabajando con Latindex (Sistema regional de información en línea para revistas científicas de América Latina, el Caribe, España y Portugal). Latindex (45) es producto de la cooperación de una red de instituciones que funciona de manera coordinada para reunir y diseminar información bibliográfica sobre las publicaciones científicas seriadas producidas en la región. Actualmente Latindex cuenta con más de 15.000 revistas en Directorio, 2.300 en Catálogo y 2.400 en Índice de Recursos Electrónicos.

En Colombia, la constitución del Índice Bibliográfico Nacional Publindex (46) ha fortalecido la calidad de las revistas colombianas fijando unos criterios de calidad para éstas a los cuales voluntariamente se han sometido la mayoría de las revistas científicas del país, las cuales han sometido a evaluación por pares sus revistas en unas fechas determinadas.

Las revistas se clasifican en una de las cuatro categorías, A1, A2, B o C, dependiendo de criterios editoriales, calidad de la revisión por pares, frecuencia de publicación y número de artículos originales, entre otros criterios, que hacen que una publicación que tenga categoría A1 también cumpla todos los criterios para estar en los índices internacionales más reconocidos. Aunque pertenecer a estas bases no es un indicador absoluto de calidad, sí es un índice de la difusión que alcanza una revista y de su utilización por la comunidad internacional.

En general, podemos decir que la aparición en índices, listados o repertorios específicos de la disciplina, de reconocido prestigio internacional y también nacional, es un factor que nos da idea de la importancia de la revista. También contribuyen al prestigio de la publicación tanto el renombre de la institución responsable de su edición como la notoriedad de los autores cuyos artículos se publican.

2. Existencia de un comité editorial, sistema de censores o árbitros, es decir, especialistas de reconocido prestigio en su materia, personas que investigan en áreas relacionadas con el tema del artículo y que, por lo tanto, están capacitadas para evaluar el manuscrito y recomendar su aceptación o su rechazo.

3. Su calidad formal. Un índice de calidad de una revista es también su calidad formal, en cuanto que cumpla las normas nacionales e internacionales al respecto. Generalmente la calidad formal y la calidad intrínseca de una revista suelen ir paralelas, siendo la primera un requisito previo para la segunda. El proyecto Latindex ha establecido una serie de criterios para determinar la calidad de las revistas en este terreno (47). En la tabla 7 se encuentran los criterios de calidad evaluados por Latindex.

Muchas revistas se publican tanto impresas como en forma electrónica y muchas únicamente en Internet. El que una revista ofrezca el texto completo de sus artículos en Internet es algo que se debe valorar, dada la importancia que el medio electrónico ha adquirido para la difusión del conocimiento científico (48, 49,50). A favor de la publicación electrónica (Internet) opera el hecho de la menor espera para la publicación de un artículo.

En las revistas tradicionales, el tiempo de espera para la publicación de un artículo oscila entre cuatro y doce meses, dependiendo de cuánta revisión necesite el manuscrito, la demora de los árbitros, el cupo de la revista (total de páginas por número), cuántos números se publican anualmente, cuándo se acepta un artículo dentro del ciclo de la producción de la revista (si se acepta después del cierre del número, se espera más que si se acepta antes), el tiempo para la impresión de la revista. En la revista electrónica, el tiempo de espera es de menos de dos meses usualmente, pues sólo le afectan los dos primeros factores enunciados (revisión del manuscrito y demora de los árbitros) (50).

Desde nuestro punto de vista, los países iberoamericanos deben apostarle de una manera constante y persistente a las iniciativas de acceso abierto a la investigación biomédica para incrementar la visibilidad de nuestras publicaciones a través del Internet, para que puedan alcanzar de esta manera una mayor cantidad de público. Para esto deberán fortalecer el bilingüismo dentro de las publicaciones, fortaleciendo los resúmenes o publicando los artículos en inglés además del español y/o portugués, fortaleciendo la creación de unas páginas Web completas con mejores servicios para los lectores que favorezcan la interactividad y mejoren las redes de comunicación entre investigadores y revistas que hagan mucho más visible las iniciativas que ya se tienen en la actualidad.

CONCLUSIONES

El Factor de Impacto es una herramienta cuantitativa útil para evaluar, categorizar y comparar revistas. Su utilización es diseminada globalmente y ampliamente utilizada. Sin embargo, tiene una serie de limitaciones que deben ser tenidas en cuenta cuando se evalué una revista. El Factor de Impacto es un indicador dirigido a la evaluación y clasiicación global de las revistas, no de sus trabajos en particular, ni de sus autores. El Factor de Impacto de la revista no es un buen predictor de la calidad e importancia de sus publicaciones ni de las citas que recibirán posteriormente, sobre todo cuando se utiliza para casos aislados. Las citas recibidas por un trabajo sólo indican su impacto actual. La evaluación de una revista debe ser regida por criterios integrales, dentro de los cuales el Factor de Impacto es uno de ellos. La nueva era de la informática, con la disponibilidad de bases en Internet, está cambiando el modelo de citaciones actual, en el cual, a través de diversos proyectos integrales, como Scielo o Latindex en nuestro continente, las revistas latinoamericanas pueden tener mayor visibilidad y, como consecuencia, impacto en la comunidad. Es importante fomentar acciones integrales para mejorar el conocimiento por parte de la comunidad médica latinoamericana de los aspectos mencionados en este artículo y diseminar el conocimiento sobre las bases de datos que a su vez mejore el impacto medido por las citas de nuestras publicaciones.

Conflicto de intereses: El doctor Caballero es el editor de la revista Salud Uninorte. Sus puntos de vista son personales y no relejan necesariamente los de la revista.

Referencias

1. Schwartz S, López Hellin J. Measuring the impact of scientific publications. The case of biomedical sciences. Scientometrics 1996; 35: 119- 132.

2. The ISI Impact Factor. Disponible en http://scientific.thomson.com/free/essays/journalcitationreports/impactfactor/

3. Journal Citation Reports. Disponible en http://scientific.thomson.com/products/jcr/

4. Lewison. Researchers "and users" perceptions of the relative standing of biomedical papers in different journals. Scientometrics, 2002; 2:229-240.

5. Jiménez-Contreras E. La selección de la literatura cientíica en el ámbito biomédico: el factor de impacto. Educ Med 2004; 7(Suppl. 1): 27-35.

6. Garfield, E. The History and Meaning of the Journal Impact Factor. JAMA. 2006;295:90-93.

7. Garfield, E. "Citation indexes to science: a new dimension in documentation through the association of ideas". Science 1955; 122:108-http://garfield.library.upenn.edu/essays/v6p468y1983.pdf

8. Garfield, E. "Journal impact factor: a brief review". Canadian Medical Association Journal, 1999; 161(8): 979-80. Disponible en http://www.cma.ca/cmaj/vol-161/issue-8/0979.htm

9. Garfield, E. "Which medical journals have the greatest impact?" Annals of Internal Medicine 1986: 105(2):313-20. Disponible en http://garfield.library.upenn.edu/essays/v10p007y1987.pdf

10. Garfield, E. "Long-term vs. short-term journal impact: Does it matter?" The Scientist 1998: 12(3):10-2. Disponible en http://www.the-scientist.library.upenn.edu/yr1998/feb/research_980202.html

11. Garfield, E. "Long-term vs. short-term journal impact (part II)." The Scientist 1998 ; 12(14):12-3. Disponible en http://www.the-scientist.library.upenn.edu/yr1998/july/research_980706.html

12. Garfield, E. Is the ratio between number of citations and publications cited a true constant ? Current Contents N° (1976). Reprinted in Essays of an Information Scientist, Volume 2, p. 419-21. Philadelphia: ISI Press. Disponible en http://garield.library.upenn.edu/essays/v2p419y1974-76.pdf

13. Saha, S and Saint, S. Impact factor: a valid measure of journal quality? J. Med. Libr. Assoc. 2003; 91(1):42-46.

14. Kostoff, RN. The use and misuse of citation analysis in research evaluations. Scientometrics, 43(1):27-43, 1998.

15. Adams, MJ. Early citation counts correlate with accumulated impact. Scientometrics, 2005; 63(3):567-581.

16. Braun, T., Schubert T. and Schubert A. Indicators of research output in the sciences from 5 central european countries, 1990-1994. Scientometrics, 1996; 38: (2):145-165.

17. Jordi, Camí . Impactolatría: diagnóstico y tratamiento. Med Clin (Barc) 1997; 109: 515-524.

18. Porta, M., The bibliographic "impact factor" of the Institute for Scientific Information, Inc.: How relevant is it really for Public Health journals? Journal of Epidemiology and Community Health, 1996; 50:606-610.

19. Porta, M.; Bolumar, F.; Alonso, J. Alvarez Dardet, C., Encerrados con un solo juguete (sobre los usos de los indicadores bibliométricos). Med Clín (Barcelona) 1994; 103: 716-717.

20. Spinak, E. Los análisis cuantitativos de la literatura científica y su validez para juzgar la producción latinoamericana. Boletín de la Oficina Panamericana de la Salud, 1996; 120: 139-147.

21. Quispe, G. ¿Es el Factor de Impacto un buen indicador para medir la calidad de las revistas cientíicas?: análisis de algunos problemas generados por su uso. Infobib Disponible en http://eprints.rclis.org/archive/00001656/

22. Porta, M. Quality matters - And the choice of indicator, too. BMJ 2003; 326:931.

23. Neuberger J, Counsel C. Impact Factor: Uses and abuses. European Journal of gastroenterology & Hepatology 2002; 14(3): 209-211.

24. Kurmis, A. Understanding the limitations of the Journal Impact factor. Current Concepts Review. The Journal of Bone and Joint Surgery American 2003; 85: 2449-254.

25. Seglen, PO. Why the impact factor of journals should not be used for evaluating research. BMJ, 1997; 314: 498- 502.

26. Bordons, M., Fernandez MT. and Gomez I. Advantages and limitations in the use of impact factor measures for the assessment of research performance. Scientometrics, 2002; 53(2):195-206.

27. Opthof, T. Sense and nonsense about the impact factor. Cardiovascular Research, 1997; 33:1-7.

28. Porta, M, Copete J, Fernández E et al. La mezcla de revistas, artículos, citas de autores y otros riesgos en el "factor de impacto" bibliográfico. Cad. Saúde Pública, 2003; 19(6):1847-1862.

29. Weingart, P. Impact of bibliometrics upon the science system: Inadvertent consequences? Scientometrics 2005; 62(1):117-131.

30. Smith, R. Unscientific practice flourishes in science: Impact factors of journals should not be used in research assessment. BMJ 1998; 316:1036-1040.

31. Whitehouse, GH. Citation rates and impact factors: should they matter? British Journal of of Radiology 2001; 74:1-3.

32. Williams, G. Misleading, unscientific, and unjust: the United Kingdom's research assessment exercise. BMJ 1998; 316: 1079-1082. 33. Joseph, K. Quality of impact factors of general medical journals. BMJ 2003; 326:283.

34. S.-M. Tang. An impact factor model of intranet adoption: an exploratory and empirical research. Journal of Systems and Software, 2000; 51(3):157-173.

35. La Porte R, Linkov F, Villaseñor T, sauer F, Gamboa F; Lovalekar M, Shubnikov E, Sekikawa. Papyrus to PowerPoint (P 2 P): Metamorphosis of scientific communication. BMJ 2002; 325:1478-1481.

36. La Porte E, Marler RE, Akazawa ; gamboa F, Shennton C, Glosser C, Villaseñor, Mc Lure. The death of biomedical journals. BMJ 1995; 310:1387-1390.

37. Hemmingsson A, Mygind T, Skjennald A, Edgren J. Manipulation of impact factors by editors of scientific journals. American Journal of Roentgenology 2002 Mar; 8 (3):767.

38. LeMasters JJ. Impact factors-a good thing?. Gastroenterology 2003; 124 (2):286.

39. Cronin B. The Citation Process. London: Taylor Graham,1984.

40. Baños, JE. Análisis de las revistas biomédicas españolas mediante el Factor de Impacto. Med Clin (Barc) 1992; 99: 96-99.

41. Barragan MJR, Bote V.PG, Guerrero AP, Alonso FZ. Scientific journals: determination of the requirements of use. Revista Española de Documentacion Científica, 2000; 23(4):417-436.

42. Hoeffel, C. "Journal impact factors [letter]". Allergy 1998: 53(12):1225.

43. Disponible en http://www.latindex.unam.mx/

44. Callaham, M, Wears, R and Weber, E. Journal Prestige, Publication Bias, and Other Characteristics Associated with Citation of Published Studies in Peer-Reviewed Journals. JAMA 2002; 287(21): 2847-2850.

45. Coimbra Jr., C. E. A., 1999. Produgao científica em saúde pública e as bases bibliográficas internacionais. Cadernos de Saúde Pública, 15:883-888.

46. Publindex. Disponible en http://zulia.colciencias.gov.co:8084/publindex/jsp/EnRevista/login.jsp

47. Román A, Urdín C. y Vázquez M. "Resultados del proyecto Latindex. Evaluación de revistas españolas". En: III Taller de Obtención de indicadores bibliométricos y de actividad científica. Madrid, 3,4 y 5 de marzo de 2003. Cuarta Sesión: Evaluación de la calidad de revistas nacionales. Red Iberoamericana de Ciencia y Tecnología. Disponible en http://www.ricyt.org/

48. Groote SLD and Dorsch JL. Dorsch. Online journals: impact on print journal usage. Bull. Med. Libr. Assoc. 2001; 89(4).

49. Thelwall, M. Results from a web impact factor crawler. Journal of Documentation, 2001: 57(2):177-191.

50. Smith, AG. A tale of two web spaces: comparing sites using web impact factors. Journal of Documentation. 1999; 55(5):577-592.

Notas

¹ Editor Salud Uninorte. Unidad de Reumatología, Hospital Universidad del Norte, Barranquilla, Colombia.

² Estudiantes de Medicina. Hospital Universidad del Norte. Calle 30 vía al aeropuerto, Barranquilla. Correspondencia a Carlo V Caballero-Uribe: Hospital Universidad del Norte. Calle 30 vía al aeropuerto, Barranquilla, Colombia. carvica@gmail.com De hecho, las revistas iberoamericanas, con el modelo actual de medición del impacto, se constituyen, según algunos autores, en grandes "perdedoras" frente a las publicaciones internacionales más relevantes que se publican en idioma inglés.