Home Help Search Feedback Contents

line

Copyright 2004 by the

Psychology in Spain, 2004, Vol. 8. No 1, 60-76

Colegio Oficial de Psicólogos


headerASSESSING THE QUALITY OF ARTICLES AND SCIENTIFIC JOURNALS: PROPOSAL FOR WEIGHTED IMPACT FACTOR AND A QUALITY INDEX.gif (5528 bytes)
bodyGualberto Buela-Casal.gif (2783 bytes)
line-head.gif (950 bytes)

Full text of this article
Reprint (PDF) of this article
Send a response to this article
Free Subscription

The impact factor and other bibliometric indices are currently used in several countries to assess the scientific production and its quality. However, the impact (or prestige) factor is rarely interpreted accurately. Available impact factors present a number of shortcomings: they only refer to citations in the previous two or three years, and they do not take into account the impact or prestige of the journals where citations appear, so that every citation is given the same value, regardless of the periodical in which it is published. In order to overcome these limitations, two indices are proposed: a mean impact factor of the journals where citations appear (MIFJC) and a weighted impact factor (WIF). Additionally, other useful indices are suggested for the analysis of interaction between periodicals: a percentage of partial interaction of citations (PPIC), and a percentage of mutual interaction among citations (PMIC). This paper explains them in detail and outlines procedures for their calculation. Several problem areas are discussed, namely, peer review, publication policies, the credentials of referees, and assessment criteria. It is also argued that the quality of studies should not be primarily evaluated in terms of the journal in which they are published. Finally, an alternative is offered for the assessment of quality of scientific articles and journals on three bases: what is to be assessed, who should assess it, and possible criteria for assessment. These considerations lead to a proposal for a quality index independent of impact or prestige.

El factor de impacto y otros índices bibliométricos son utilizados en la actualidad en diversos países para evaluar la producción y/o la calidad de la investigación científica. Sin embargo, rara vez se interpreta correctamente el factor de impacto (o el factor de prestigio). Éstos presentan varias limitaciones importantes que deben ser consideradas, una es que se refieren sólo a las citas de los dos o tres años anteriores (respectivamente) y la otra es que no se tiene en cuenta el "impacto o el prestigio" de las revistas donde se producen las citas, dando el mismo valor a cualquier cita, independientemente de la revista en la que se produce. Para paliar esta limitación se proponen dos índices: el factor de impacto medio de las revistas donde se producen las citas (FIMRC) y el factor de impacto ponderado (FIP). Además, se proponen también otros índices que resultan útiles para analizar la interacción entre las revistas: el porcentaje de interacción parcial de citas (PIPC) y el porcentaje de interacción mutua de citas (PIMC). En este artículo se explican los fundamentos y la forma de calcularlos. A continuación se comenta el sistema actual utilizado para evaluar artículos, el sistema de revisión "por iguales": los sesgos del director, la cualificación de los revisores y los criterios establecidos para evaluar. Además, se establece una serie de argumentos por los que no debe evaluarse la calidad de un artículo sólo en función de la revista en la que fue publicado. Por último, se presenta una alternativa para evaluar la calidad de los artículos y de las revistas científicas, centrándose en: qué se debe evaluar, quién debe evaluar y qué criterios se pueden usar. En función de esto se hace una propuesta de cómo se podría crear un índice de calidad, independientemente del factor de impacto o del factor de prestigio.


line.gif (893 bytes)

The original Spanish version of this paper has been previously published in Psicothema, 2003, Vol. 15. No 1, 23-35
...........
Correspondence concerning this article should be addressed to Gualberto Buela-Casal, Facultad de Psychology, Universidad de Granada, 18071 Granada (Spain). E-mail: gbuela@ugr.es

Home Help Search Feedback Contents