Creating and Purifying an Observation Instrument Using the Generalizability Theory

  1. Rodríguez Naveiras, Elena
  2. Borges del Rosal, María de África
  3. Cadenas Borges, María
Revista:
Acción psicológica

ISSN: 1578-908X

Año de publicación: 2013

Título del ejemplar: Validación de Contenido desde metodologías cualitativas y cuantitativas

Volumen: 10

Número: 2

Páginas: 68-90

Tipo: Artículo

DOI: 10.5944/AP.10.2.11825 DIALNET GOOGLE SCHOLAR

Otras publicaciones en: Acción psicológica

Resumen

El control de la calidad de los datos es uno de los aspectos más relevantes en las investigaciones observacionales. La Teoría de la Generalizabilidad (TG) proporciona un método de análisis que nos permite aislar las fuentes de variación debidas al error aleatorio. Al mismo tiempo, nos ayuda a determinar el grado en que ciertos factores pueden cambiar y analizar su efecto mediante el coeficiente de generalizabilidad. En este trabajo, se presentan dos estudios que tratar de construir y depurar un instrumento de observación, el Protocolo de Funciones Docentes (PROFUNDO, v1 y v2), que trata de evaluar la conducta realizada por los instructores in programas socio-afectivos fuera de la escuela. Se han realizado estudios de fiabilidad y homogeneidad mediante TG considerando como facetas diferenciales tanto los códigos (c), como los agentes (a). La generalización se llevará a cabo a través de los observadores usando un diseño cruzado multifaceta (A × O × C). En el estudio de homogeniedad, la faceta de generalizabilidad se llevará a cabo a través de los códigos, usando el mismo diseño que en el estudio de fiabilidad.

Referencias bibliográficas

  • Acereda, A. (2002). Niños superdotados [gifted children]. Madrid, spain: Pirámide.
  • Alonso, J. A. & Benito, Y. (1996). superdotados: Adaptación escolar y social en secundaria [gifted: social and secondary school Adaptation]. Barcelona, spain: narcea.
  • Anguera, M. T. (1988). observación en la escuela [observation in school]. Barcelona, spain: Graó.
  • Anguera, M. T. (2003). La observación [The observation]. En C. Moreno Rosset (Ed.), Evaluación psicológica. concepto, proceso y aplicación en las áreas del desarrollo y de la inteligencia [Psycho- logical evaluation. concept, process and implementation in the areas of development and intelligence] (pp. 271-308). Madrid, España: sanz y Torres.
  • Anguera, M. T. (2008). Evaluación de programas desde la metodología cualitativa [Program Evaluation from qualitative methodology]. Acción Psicológica, 5(2), 87-101.
  • Arancibia, V., Lissi, M. R., & narea, M. (2008). Impact in the school system of a strategy for identifying and selecting academically talented students: the experience of Program PEnTA-UC. High Ability studies.19(1), 53-65.
  • Behar, J. & Riba, C. (1993). sesgos del observador y de la observación [Observer and Observation bias]. En M. T. Anguera (Ed.), Metodología observacional en la investigación psicológica (Vol. 2, Fundamentación 2, pp. 11-148). Barcelona, spain: PPU.
  • Blanco, A. (1993). Fiabilidad, precisión, validez y generalización de los diseños o b s e r v a cionales [Reliatbility, accuracy, validity and generalization of observational designs]. En M. T. Anguera (Ed.), Metodología observacional en la investigación psicológica (Vol. 2 Fundamentación, pp 151-261). Barcelona, spain: PPU.
  • Blanco, A. & Anguera, M. T. (2000). Evaluación de la calidad en el registro del comportamiento: Aplicación a deportes de equipo [Quality assessment in the registration behavior: Application to Team sports]. En E. Oñate, F. García-sicilia and L. Ramallo (Eds.), Métodos numéricos en ciencias sociales (pp. 30-48). Barcelona, spain: Centro Internacional de Métodos numéricos en Ingeniería (CIMnE).
  • Blanco, A., Castellano, J., & Hernández Mendo, A. (2000). Generalizabilidad de las observaciones en la acción del juego en el fútbol. Psicothema, 12(2), 81-86.
  • Blanco, A., sastre, s., & Escolano, E. (2010). Desar- rollo ejecutivo temprano y Teoría de la Generalizabilidad: bebés típicos y prematuros. Psicothema, 22(2), 221-226.
  • Borges, A., Rodríguez-naveiras, E., HernándezJorge, C., & Fernández, R. (2007, June). Programa Integral para Altas capacidades: Evaluación Formativa 2004-006 [comprehensive Program for High capacities: Formative Assessment 2004-2006]. Comunicación presentada en la Ix Conferencia Española y I Encuentro Iberoamericano de Biometría, salamanca.
  • Borges, A., Hernández-Jorge, C., & Rodrígueznaveiras, E. (2011). Evidencias contra el mito de la inadaptación de las personas con altas capacidades intelectuales [Evidence against the myth of the maladjustment of people with high intellectual abilities ]. Psicothema, 23, 362-367.
  • Borges, A., & Rodríguez-naveiras, E. (2012). Pro- gramas de intervención en altas capacidades intelectuales y su evaluación [Intervention pro- grams in high intellectual abilities and their assessment]. En D. Valadez (Ed.), Alumnos superdotados y talentosos, identificación, evaluación e intervención. Una guía para docentes. México: Manual Moderno.
  • Cerezo, M. A. (Ed.). (1991). Interacciones familiares: Un sistema de evaluación observacionalsoc-III [Family interactions: An observational assessment system-soc-III]. Madrid, spain: Mepsa.
  • Cerezo, M. A. (2000). Interacción familiar. Un siste- ma de evaluación observacional. soc III edición bilingüe (cD-RoM) [Family interaction. An ob- servational assessment system. soc III bilin- gual]. Valencia, spain: Publicaciones de la Universidad de Valencia.
  • Cronbach, L. J., Gleser, G. C., nanda, H., & Rajaratnam, n. (1972). The dependability of behavioral measurements: theory of generalizability for scores and profiles. new York: Wiley.
  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37-46.
  • Cohen, J. (1968). Weighted kappa: nominal scale agreement with provision for scaled disagreement of partial credit. Psychological Bulletin, 70, 213-220.
  • Díaz, O. & Bravo, A. (2002). Programa de Enriquecimiento de AsAC (Asociación de altas capacidades) [AsAC Enrichment Program (gifted Association)]. Faisca. Revista de Altas capacidades, 9, 11-125.
  • Gil, A. (2008) Los porteros de Fútbol, ¿se comportan como sistemas complejos? (Tesis Doctoral). Universidad de Barcelona.
  • Heller, K. A. (2009). Gifted education from the german perspective. In D. J. Matthews (Ed.), The routledge international companion to gifted education (pp. 61-67). new York, nY Us: Routledge/Taylor y Francis.
  • Heller, K. A. & Reimann, R. (2002). Theoretical and methodological problems of a 10-year follow-up program evaluation study. European Journal of Psychological Assessment, 18(3), 229-241.
  • Hernández-Jorge, C. (2005). Habilidades de comunicación para profesionales. Tenerife: ARTE: Comunicación visual.
  • Ibáñez, I. (1993). La observación. En W. Peñate, P. Matud, I. Ibáñez (Eds.), Evaluación Psicológica: conceptos y técnicas de análisis (pp. 225-260). Valencia: PROMOLIBRO (Promoción del Libro Universitario).
  • López, V. & sotillo, M. (2009). Giftedness and social adjustment: Evidence supporting the resilience approach in spanish-speaking children and adolescents. High Ability studies, 20 (1), 39-53.
  • López de la Llave, A. & Pérez-Llantada, M. C. (2004). Evaluación de programas en psicología aplicada(salud, intervenciones sociales, deporte, calidad). Madrid, spain: Dykinson
  • Máiquez, M. L., Blanco-Villaseñor, A., Rodrigo, M. J., & Vermaes, I. (2000). La evaluación de la eficiencia en la intervención familiar: generalizabilidad y optimización del programa experiencial para padres. Psicothema, 12(4), 533-542.
  • Neber, H., & Heller, K. A. (2002). Evaluation of a summer-school program for highly gifted secondary-school students: The german pupils academy. European Journal of Psychological Assessment, 18(3), 214-228.
  • Newcomer, K., Hatry, H. & Wholey, J. (2010). Planning and designing useful evaluations. In, Wholey, J., Hatry, H. & newcomer, K. (2010). Handbook of practical program evaluation (pp. 48-73). an Francisco: JOssEY-BAss A Wiley Imprint.
  • Pedrosa, I. & Borges, A. (2012, july). study of children’s interaction within the comprehensive Program for Highly gifted students (PIPAc). V European Congress of Methodology. santiago de Compostela.
  • Pereira, n., Peters, s. J. & Gentry, M. (2010). My class activities instrument as used in saturday enrichment program evaluation. Journal of Advanced Academics, 21(4), 568-593.
  • Pfeiffer, s. I., & Blei, s. (2008). serving gifted students. In n. Mather (Ed.), Evidence-based interventions for students with learning and behavioral challenges. (pp. 336-358). new York, nY Us: Routledge/Taylor y Francis Group.
  • Prieto, M. D. & Ferrándiz, C. (2001). Inteligencias Múltiples y curriculum escolar. Málaga, spain: Aljibe.
  • Quera, V. (1991). Muestreo y registro observacional. En M. T. Anguera (Ed.), Metodología observacional en la investigación psicológica (Vol. 1, pp.241-328). Barcelona, spain: PPU.
  • Quera, V. & Behar, J. (1997). La observación. En, G. Buela-Casal & J. C. sierra (Dirs). (1997). Manual de evaluación psicológica. Fundamentos, técnicas y aplicaciones [Handbook of psycholocial evaluation. Foudations, techniques and applications]. Madrid, spain: siglo Veintiuno.
  • Renzulli, J. s. (1977). The enrichment triad model: A plan for developing defensible programs for the gifted and talented: II. gifted child Quarterly, 21(2), 227-233.
  • Rodríguez-naveiras, E; Borges, A & HernándezJorge, C. (2007, Febrery). Problemas metodológicos en la evaluación de programas repetidos con los mismos sujetos: resultados de tres años de implementación del programa integral para altas capacidades. Comunicación presentada en el x Congreso de Metodología de las Ciencias sociales y de la salud, celebrado en Barcelona.
  • Rodríguez-naveiras, E. (2011). PRoFUNDo: Un instrumento para la evaluación de proceso de un programa de altas capacidades (Tesis Doctoral). Universidad de La Laguna. soportes audiovisuales e informáticos.
  • Rodríguez-naveiras, E; Borges, A., & HernándezJorge, C. (2010, july). Protocolo de observación de funciones docentes (PRoFUNDo) para la evaluación de proceso de la conducta de las monitoras del Programa Integral para Altas capacidades. Comunicación presentada en el VII Congreso Iberoamericano de Psicología celebrado en Oviedo.
  • Rodríguez, M., Díaz, M., & Cadenas, M. (2011). Estimación del tiempo de registro óptimo para la observación de las funciones docentes del profesor universitario. Revista de Investigación y Divulgación de Psicología y Logopedia, 1(1),10-15.
  • Trenado, R. M. & Cerezo, M. A. (2004): sistema de codificación de la interacción temprana maternoinfantil, cITMI-R. Documento no publicado, Universidad de Valencia.
  • Wholey, J. s., Hatry, H. P., & newcomer, K. E. (2010) Kandbook of practical program evaluation. san Francisco, CA: sage.
  • Ysewjin, P. (1996). software for generalizability studies. Mimeografía.
Fuente de los datos: Dialnet