Statistical analysis and considerations of power in program evaluation using two-stage sampling designs. Evaluation of prevention programs involves decision errors due to the difficulty of randomly assigning individuals to research conditions. The nature of the intervention and design of the study determine the choice of the appropriate unit of analysis in impact assessments. When units of assignment and units of observation differ, that is, when clusters of people rather individuals are assigned at random to treatments, the analyses conducted at lower levels of the study hierarchy provide inefficient parameter estimates, and often result in inappropriate significance tests. Therefore, the purpose of this paper is (a) to present an analytical method that permits the use of data at all levels of design without increasing Type I error rates, and (b) to determine the number of clusters and the sample size per group according to variability and cost.

La evaluación de programas de prevención acarrea errores de decisión derivados principalmente de la dificultad de asignar al azar las unidades individuales a las condiciones de investigación. La elección de la unidad de análisis apropiada a la hora de evaluar la efectividad del impacto está determinada por la naturaleza de la intervención y por el diseño de investigación seleccionado. Cuando las unidades de asignación y de observación difieren entre sí, esto es, cuando entidades colectivas más que individuales son asignadas al azar a los tratamientos, los análisis realizados en los niveles más bajos de la jerarquía proporcionan estimaciones ineficientes de los parámetros y a menudo conducen a que las pruebas de significación sean inadecuadas. La meta de este trabajo es doble. Por un lado, presentar un método analítico que permite utilizar los datos de cualquier nivel del diseño sin inflar las tasas de error. Y, por otro lado, determinar el número de grupos y el tamaño de éstos en función de la variabilidad existente y de los costos.