The present paper describes the metaevaluation of a TQM evaluation system, developed for assessing the quality of management services in university administration. The evaluation follows an active and participative procedure, committed to the general values of negotiation, consensus and responsiveness. Consequently, the metaevaluation focuses on the clients’ or participants’ point of view in the process, in order to fit in with the original framework of the EFQM guide to the needs and perspectives of service and administration personnel. Specifically, metaevaluation criteria of comprehension, clarity, relevance, utility and effort are used. Limitations due to sample size are overcome by applying a combination of non-parametric tests in the data analysis. Results show the level of agreement reached between evaluators and participants, and suggest a certain redundance of the metaevaluation criteria and the need for review and improvement of some quality factors included in the original self-evaluation guide. Furthermore, the results highlight the relevance of context and leadership as key elements for understanding and improving administration services, as well as the scarce importance of social impact and resources management.

El presente estudio describe la metaevaluación de un sistema de Evaluación de la Gestión Integral de la Calidad, desarrollado para valorar la calidad de los servicios de administración universitaria. La evaluación sigue un procedimiento activo y participativo, comprometido con los valores de negociación, consenso y responsividad. En consecuencia, la metaevaluación se centra en la perspectiva de los clientes o participantes en el proceso, con el fin de aproximar el marco de la guía EFQM a las necesidades y perspectivas del personal de administración y servicios. En concreto, se utilizan los criterios de comprensión, claridad, relevancia, utilidad y esfuerzo. Las limitaciones muestrales se superan aplicando una combinación de pruebas no paramétricas en el análisis de los datos. Los resultados muestran los niveles de concordancia alcanzados entre evaluadores y participantes, sugieren cierta redundancia entre los criterios de metaevaluación y aconsejan la revisión y mejora de algunos factores de calidad incluidos en la guía original de autoevaluación. Se señala la importancia del contexto y del liderazgo como elementos fundamentales para comprender y mejorar el Servicio que ha sido evaluado, así como la escasa trascendencia de los factores de impacto social y gestión de recursos.