Creating and Purifying an Observation Instrument Using the Generalizability Theory

  1. Rodríguez Naveiras, Elena
  2. Borges del Rosal, María de África
  3. Cadenas Borges, María
Journal:
Acción psicológica

ISSN: 1578-908X

Year of publication: 2013

Issue Title: Validación de Contenido desde metodologías cualitativas y cuantitativas

Volume: 10

Issue: 2

Pages: 73-82

Type: Article

DOI: 10.5944/AP.10.2.11825 DIALNET GOOGLE SCHOLAR

More publications in: Acción psicológica

Abstract

The control of quality of data it is one of the most relevant aspects in observational researches. The Generalizability Theory (GT) provides a method of analysis that allows us to isolate the various sources of error measurement. At the same time, it helps us to determine the extent to which various factors can change and analyze the effect on the generalizability coefficient. In the work shown here, there are two studies aimed to creating and purifying an observation instrument, Observation Protocol in the Teaching Functions (Protocolo de Funciones Docentes, PROFUNDO, v1 and v2), for behavioral assessment which has been carried out by instructors in a social-affective out-of-school program. The reliability and homogeneity studies are carried out once the instrument has been created and purified. The reliability study will be done through the GT method taking both codes (c) and agents (a) as differential facets in. The generalization will be done through observers using a crossed multi-faceted design (A × O × C). In the homogeneity study the generalization facet will be done through codes using the same design that the reliability study.

Bibliographic References

  • Acereda, A. (2002). Niños superdotados [gifted children]. Madrid, spain: Pirámide.
  • Alonso, J. A. & Benito, Y. (1996). superdotados: Adaptación escolar y social en secundaria [gifted: social and secondary school Adaptation]. Barcelona, spain: narcea.
  • Anguera, M. T. (1988). observación en la escuela [observation in school]. Barcelona, spain: Graó.
  • Anguera, M. T. (2003). La observación [The observation]. En C. Moreno Rosset (Ed.), Evaluación psicológica. concepto, proceso y aplicación en las áreas del desarrollo y de la inteligencia [Psycho- logical evaluation. concept, process and implementation in the areas of development and intelligence] (pp. 271-308). Madrid, España: sanz y Torres.
  • Anguera, M. T. (2008). Evaluación de programas desde la metodología cualitativa [Program Evaluation from qualitative methodology]. Acción Psicológica, 5(2), 87-101.
  • Arancibia, V., Lissi, M. R., & narea, M. (2008). Impact in the school system of a strategy for identifying and selecting academically talented students: the experience of Program PEnTA-UC. High Ability studies.19(1), 53-65.
  • Behar, J. & Riba, C. (1993). sesgos del observador y de la observación [Observer and Observation bias]. En M. T. Anguera (Ed.), Metodología observacional en la investigación psicológica (Vol. 2, Fundamentación 2, pp. 11-148). Barcelona, spain: PPU.
  • Blanco, A. (1993). Fiabilidad, precisión, validez y generalización de los diseños o b s e r v a cionales [Reliatbility, accuracy, validity and generalization of observational designs]. En M. T. Anguera (Ed.), Metodología observacional en la investigación psicológica (Vol. 2 Fundamentación, pp 151-261). Barcelona, spain: PPU.
  • Blanco, A. & Anguera, M. T. (2000). Evaluación de la calidad en el registro del comportamiento: Aplicación a deportes de equipo [Quality assessment in the registration behavior: Application to Team sports]. En E. Oñate, F. García-sicilia and L. Ramallo (Eds.), Métodos numéricos en ciencias sociales (pp. 30-48). Barcelona, spain: Centro Internacional de Métodos numéricos en Ingeniería (CIMnE).
  • Blanco, A., Castellano, J., & Hernández Mendo, A. (2000). Generalizabilidad de las observaciones en la acción del juego en el fútbol. Psicothema, 12(2), 81-86.
  • Blanco, A., sastre, s., & Escolano, E. (2010). Desar- rollo ejecutivo temprano y Teoría de la Generalizabilidad: bebés típicos y prematuros. Psicothema, 22(2), 221-226.
  • Borges, A., Rodríguez-naveiras, E., HernándezJorge, C., & Fernández, R. (2007, June). Programa Integral para Altas capacidades: Evaluación Formativa 2004-006 [comprehensive Program for High capacities: Formative Assessment 2004-2006]. Comunicación presentada en la Ix Conferencia Española y I Encuentro Iberoamericano de Biometría, salamanca.
  • Borges, A., Hernández-Jorge, C., & Rodrígueznaveiras, E. (2011). Evidencias contra el mito de la inadaptación de las personas con altas capacidades intelectuales [Evidence against the myth of the maladjustment of people with high intellectual abilities ]. Psicothema, 23, 362-367.
  • Borges, A., & Rodríguez-naveiras, E. (2012). Pro- gramas de intervención en altas capacidades intelectuales y su evaluación [Intervention pro- grams in high intellectual abilities and their assessment]. En D. Valadez (Ed.), Alumnos superdotados y talentosos, identificación, evaluación e intervención. Una guía para docentes. México: Manual Moderno.
  • Cerezo, M. A. (Ed.). (1991). Interacciones familiares: Un sistema de evaluación observacionalsoc-III [Family interactions: An observational assessment system-soc-III]. Madrid, spain: Mepsa.
  • Cerezo, M. A. (2000). Interacción familiar. Un siste- ma de evaluación observacional. soc III edición bilingüe (cD-RoM) [Family interaction. An ob- servational assessment system. soc III bilin- gual]. Valencia, spain: Publicaciones de la Universidad de Valencia.
  • Cronbach, L. J., Gleser, G. C., nanda, H., & Rajaratnam, n. (1972). The dependability of behavioral measurements: theory of generalizability for scores and profiles. new York: Wiley.
  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37-46.
  • Cohen, J. (1968). Weighted kappa: nominal scale agreement with provision for scaled disagreement of partial credit. Psychological Bulletin, 70, 213-220.
  • Díaz, O. & Bravo, A. (2002). Programa de Enriquecimiento de AsAC (Asociación de altas capacidades) [AsAC Enrichment Program (gifted Association)]. Faisca. Revista de Altas capacidades, 9, 11-125.
  • Gil, A. (2008) Los porteros de Fútbol, ¿se comportan como sistemas complejos? (Tesis Doctoral). Universidad de Barcelona.
  • Heller, K. A. (2009). Gifted education from the german perspective. In D. J. Matthews (Ed.), The routledge international companion to gifted education (pp. 61-67). new York, nY Us: Routledge/Taylor y Francis.
  • Heller, K. A. & Reimann, R. (2002). Theoretical and methodological problems of a 10-year follow-up program evaluation study. European Journal of Psychological Assessment, 18(3), 229-241.
  • Hernández-Jorge, C. (2005). Habilidades de comunicación para profesionales. Tenerife: ARTE: Comunicación visual.
  • Ibáñez, I. (1993). La observación. En W. Peñate, P. Matud, I. Ibáñez (Eds.), Evaluación Psicológica: conceptos y técnicas de análisis (pp. 225-260). Valencia: PROMOLIBRO (Promoción del Libro Universitario).
  • López, V. & sotillo, M. (2009). Giftedness and social adjustment: Evidence supporting the resilience approach in spanish-speaking children and adolescents. High Ability studies, 20 (1), 39-53.
  • López de la Llave, A. & Pérez-Llantada, M. C. (2004). Evaluación de programas en psicología aplicada(salud, intervenciones sociales, deporte, calidad). Madrid, spain: Dykinson
  • Máiquez, M. L., Blanco-Villaseñor, A., Rodrigo, M. J., & Vermaes, I. (2000). La evaluación de la eficiencia en la intervención familiar: generalizabilidad y optimización del programa experiencial para padres. Psicothema, 12(4), 533-542.
  • Neber, H., & Heller, K. A. (2002). Evaluation of a summer-school program for highly gifted secondary-school students: The german pupils academy. European Journal of Psychological Assessment, 18(3), 214-228.
  • Newcomer, K., Hatry, H. & Wholey, J. (2010). Planning and designing useful evaluations. In, Wholey, J., Hatry, H. & newcomer, K. (2010). Handbook of practical program evaluation (pp. 48-73). an Francisco: JOssEY-BAss A Wiley Imprint.
  • Pedrosa, I. & Borges, A. (2012, july). study of children’s interaction within the comprehensive Program for Highly gifted students (PIPAc). V European Congress of Methodology. santiago de Compostela.
  • Pereira, n., Peters, s. J. & Gentry, M. (2010). My class activities instrument as used in saturday enrichment program evaluation. Journal of Advanced Academics, 21(4), 568-593.
  • Pfeiffer, s. I., & Blei, s. (2008). serving gifted students. In n. Mather (Ed.), Evidence-based interventions for students with learning and behavioral challenges. (pp. 336-358). new York, nY Us: Routledge/Taylor y Francis Group.
  • Prieto, M. D. & Ferrándiz, C. (2001). Inteligencias Múltiples y curriculum escolar. Málaga, spain: Aljibe.
  • Quera, V. (1991). Muestreo y registro observacional. En M. T. Anguera (Ed.), Metodología observacional en la investigación psicológica (Vol. 1, pp.241-328). Barcelona, spain: PPU.
  • Quera, V. & Behar, J. (1997). La observación. En, G. Buela-Casal & J. C. sierra (Dirs). (1997). Manual de evaluación psicológica. Fundamentos, técnicas y aplicaciones [Handbook of psycholocial evaluation. Foudations, techniques and applications]. Madrid, spain: siglo Veintiuno.
  • Renzulli, J. s. (1977). The enrichment triad model: A plan for developing defensible programs for the gifted and talented: II. gifted child Quarterly, 21(2), 227-233.
  • Rodríguez-naveiras, E; Borges, A & HernándezJorge, C. (2007, Febrery). Problemas metodológicos en la evaluación de programas repetidos con los mismos sujetos: resultados de tres años de implementación del programa integral para altas capacidades. Comunicación presentada en el x Congreso de Metodología de las Ciencias sociales y de la salud, celebrado en Barcelona.
  • Rodríguez-naveiras, E. (2011). PRoFUNDo: Un instrumento para la evaluación de proceso de un programa de altas capacidades (Tesis Doctoral). Universidad de La Laguna. soportes audiovisuales e informáticos.
  • Rodríguez-naveiras, E; Borges, A., & HernándezJorge, C. (2010, july). Protocolo de observación de funciones docentes (PRoFUNDo) para la evaluación de proceso de la conducta de las monitoras del Programa Integral para Altas capacidades. Comunicación presentada en el VII Congreso Iberoamericano de Psicología celebrado en Oviedo.
  • Rodríguez, M., Díaz, M., & Cadenas, M. (2011). Estimación del tiempo de registro óptimo para la observación de las funciones docentes del profesor universitario. Revista de Investigación y Divulgación de Psicología y Logopedia, 1(1),10-15.
  • Trenado, R. M. & Cerezo, M. A. (2004): sistema de codificación de la interacción temprana maternoinfantil, cITMI-R. Documento no publicado, Universidad de Valencia.
  • Wholey, J. s., Hatry, H. P., & newcomer, K. E. (2010) Kandbook of practical program evaluation. san Francisco, CA: sage.
  • Ysewjin, P. (1996). software for generalizability studies. Mimeografía.