Procedimiento de fiabilización de la herramienta de observación por pares en la educación superior (he-pot)
DOI:
https://doi.org/10.47197/retos.v82.119089Palabras clave:
Análisis de fiabilidad, educación superior, herramientas de observación, metodología observacional, observación por paresResumen
Introducción: La observación por pares de la enseñanza (POT) se ha vuelto cada vez más popular en las instituciones de Educación Superior de todo el mundo. No obstante, es escaso del número instrumento que hayan sido sometidos a procesos de validación y fiabilización.
Objetivo: Analizar la fiabilidad de la herramienta POT-Higher Education (HE-PoT) para su posterior aplicación y mejora de la Enseñanza Universitaria desde un enfoque colaborativo.
Metodología: Un diseño observacional nomotético, puntual y multidimensional fue utilizado para analizar 50 sesiones docentes mediante la herramienta validada HE-PoT y el software Lince Plus. Por un parte, 3 docentes universitarios fueron observadores. Por otra, 4 docentes de la Facultad de Ciencias del Deporte fueron observados. La fiabilidad se garantizó mediante un entrenamiento de expertos, evaluada con el coeficiente Kappa de Cohen (intra e inter-observador) y un análisis de generalizabilidad de las facetas observadores, ítems y sesiones.
Resultados: La herramienta mostró una fiabilidad inter-observador excelente (promedio = 0.867) y una alta generalizabilidad para la faceta ítems (e2=0.876). Los resultados destacan que la mayor varianza (61,2%) reside en la interacción ítem-sesión, confirmando la estabilidad de los observadores frente a la heterogeneidad de las conductas pedagógicas.
Conclusiones: Los niveles de concordancia y generalizabilidad muestran que la herramienta HE-PoT es un instrumento fiable para la observación por pares entre el profesorado universitario.
Referencias
Álvarez Medina, J., Murillo Lorente, V., Casterad Seral, J., & Nuviala, A. (2022). Valoración del aprendizaje técnico del voleibol mediante la metodología observacional por pares en estudiantes universitarios. Cultura, Ciencia y Deporte, 17(51),31-39. http://dx.doi.org/10.12800/ccd.v17i51.1662
Amrein-Beardsley, A., & Popp, S. E. O. (2012). Peer observations among faculty in a college of educa-tion: Investigating the summative and formative uses of the Reformed Teaching Observation Protocol (RTOP). Educational Assessment, Evaluation and Accountability, 24(1), 5-24. https://doi.org/10.1007/s11092-011-9135-1
Anguera, M. T., Blanco, A., Hernández, A., & Losada, J. L. (2011). Diseños Observacionales: Ajuste y aplicación en psicología del deporte. Cuadernos de Psicología del Deporte, 11(2), 63-76.
Aránguiz, C., Rivera-Vargas, P. y Imbernón, F. (2021). A una década del Plan Bolonia: posibilidades y límites de su implementación en la Universidad de Barcelona. Revista de la educación superior, 50(200), 85-104. https://doi.org/10.36857/resu.2021.200.1891
Aznar Díaz, I., Hinojo-Lucena, F. J., Cáceres-Reche, M. P. y Romero-Rodríguez, J. M. (2020). Pedagogical Approaches in the Knowledge Society: The Flipped Classroom Method for the Development of Creativity and Dialogical Learning. International Journal of Emerging Technologies in Learning, 15(3), 4-14. http://dx.doi.org/10.3991/ijet.v15i03.11664
Bailey, K.M. (2006). Language Teacher Supervision: A Case-Based Approach. Cambridge University Press.
Bell, M. (2001). Supported reflective practice: A programme of peer observation and feedback for academic teaching development. International Journal for Academic Development, 6(1), 29–39.
Brancato, V. C. (2003). Professional development in higher education. In King, K., & Lawler, P. (Eds.), New perspectives on designing and implementing professional development of teachers of adults (pp. 59–65). New directions for adult and continuing education, vol. 98. San Francisco, CA: Jossey-Bass.
Burk, K. S., Zhao, A. H., Glazer, D. I., Giess, C. S., Boland, G. W., & Khorasani, R. (2022). Assessment of a large-scale peer learning program’s value by manual review of case submissions. Journal of the American College of Radiology, 19(10), 1138-1150 https://doi.org/10.1016/j.jacr.2022.04.012
Byrne, J., Brown, H., & Challen, D. (2010). Peer development as an alternative to peer observation: A tool to enhance professional development. International Journal for Academic Development, 15(3), 215-228. https://doi.org/10.1080/1360144X.2010.497685
Carragher, J., & McGaughey, J. (2016). The effectiveness of peer mentoring in promoting a positive transition to higher education for first-year undergraduate students: A mixed methods system-atic review protocol. Systematic Reviews, 5(1), Article 68. https://doi.org/10.1186/s13643-016-0245-1
Chao, T., Saj, T., & Tessier, F. (2006). Establishing a quality review for online courses. Educause Quarterly, 29(3), 32–39.
Chism, N. (2007). Peer review of teaching: A sourcebook. Anker.
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104
Corcelles-Seuba, M., Duran, D., Flores, M., Miquel, E. y Ribosa, J. (2023). Percepciones docentes sobre observación entre iguales: resistencias, agencia, procedimiento y objetivos de mejora. Estudios sobre Educación, 44, 35-58. https://doi.org/10.15581/004.44.002
Corcelles-Seuba, M., Ortiz, M., O'Leary, M. y Duran, D. (2025). Una revisión sistemática de la observación recíproca entre pares en la educación superior. Desarrollo Profesional en Educación, 1-18. https://doi.org/10.1080/19415257.2025.2480768
Crabtree, J. L, Scott, P. J., & Kuo, F. (2016). Peer observation and evaluation tool (POET): A formative peer review supporting teaching. The Open Journal of Occupational Therapy. https:// doi. org/ 10. 15453/ 2168- 6408. 1273
Crehan, M., Munro, M., O’Keeffe, M. (2023). Peer Observation of Teaching in the Virtual University: Factors for Success. In: Sankey, M.D., Huijser, H., Fitzgerald, R. (eds) Technology-Enhanced Learning and the Virtual University. University Development and Administration. Springer, Singapore. https://doi.org/10.1007/978-981-19-9438-8_9-1
Cronbach, L. J. (1972). The dependability of behavioral measurements: Theory of generalizability for scores and profiles. Wiley.
De la Iglesia, B., Duma, L., Forteza, D., Llabrés, J., Moreno-Tallón, F. y Ribosa, J. (2025). El feedback entre docentes en un ciclo de observación entre iguales. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 23(3). https://doi.org/10.15366/reice2025.23.3.007
Domínguez-Montes, J.A., Cenizo-Benjumea, J.M., Gálvez-González, J. & Otero-Saborido, F. (2024). De-sign and validation of a university education peer observation tool. Revista de Gestão Social e Ambiental, 18(10), 1-19. https://doi.org/10.24857/rgsa.v18n10-301
Eddy, S. L., Converse, M., & Wenderoth, M. P. (2015). PORTAAL: A classroom observation tool assessing evidencebased teaching practices for active learning in large science, technology, engineering, and mathematics classes. CBE—Life Sciences Education, 14(2), 1–16. https:// doi. org/ 10. 1187/ cbe.14- 06- 0095
Escartí, A., Gutiérrez, M., Pascual, C., & Wright, P. (2013). Observación de las estrategias que emplean los profesores de educación física para enseñar responsabilidad personal y social. Revista de Psicologia del Deporte, 22(1), 159-166.
Fletcher, J. A. (2018). Peer observation of teaching: A practical tool in higher education. The Journal of Faculty Development, 32(1), 51-64. https://doi.org/10.13140/RG.2.2.19455.82084
Flores Ferro, E., Maureira Cid, F., Castillo-Retamal, F., Matus-Castillo, C., Gamboa Jiménez, R., Moral Moreno, L., Muñoz Lara, M., Portugal Villar, J., & Saavedra Esteban, E. (2025). Construcción y validación la Escala de Percepción de la Investigación Universitaria (EPIU) en estudiantes de Educación Física de Chile. Retos, 73, 66-77. https://doi.org/10.47197/retos.v73.116575
Esteban, E. (2025). Construcción y validación la Escala de Percepción de la Investigación Universitaria (EPIU) en estudiantes de Educación Física de Chile. Retos, 73, 66-77. https://doi.org/10.47197/retos.v73.116575
Flores, M., Miquel, E., & Duran, D. (2025). Teacher collaborative knowledge buildingin Reciprocal Peer Observation. European Journal of Psychology of Education, 40(1), 45. https://doi.org/10.1007/s10212-025-00945-7
Gabín, B., Camerino, O., Anguera, M.T. & Castañer, M. (2012). Lince: Multiplatform sport analysis software. ProcediaSocial and Behavioral Sciences, 46, 4692-4694.
Garcia, I., James, R. W., Bischof, P., & Baroffio, A. (2017). Self-Observation and Peer Feedback as a Faculty Development Approach for Problem-Based Learning Tutors: A Program Evaluation. Teaching and Learning in Medicine, 29(3), 313-325. https://doi.org/10.1080/10401334.2017.1279056
Gosling, D. (2002, August). Models of peer observation of teaching [Keynote address at LTSNGC Peer Observation of Teaching Conference.
Hammersley-Fletcher, L., & Orsmond, P. (2005). Reflecting on reflective practices within peer observation. Studies in Higher Education, 30(2), 213–224.
Hashim, N., & Ab Wahid, H. (2024). Entrepreneurial Mentoring Synergy: An In-Depth Analysis of Polytechnic and Community College (PolyCC) Lecturers as Mentors to Student Start-Up Entrepreneurs. PaperASIA, 40(4b), 239–247. https://doi.org/10.59953/paperasia.v40i4b.206
Hernández-Mendo, A., Blanco-Villaseñor, Á., Pastrana, J. L., Morales- Sánchez, V., & Francisco Jesús Ramos-Pérez. (2016). SAGT: Aplicación Informática para Análisis de Generalizabilidad. Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 11(1), 77-89.
Huston, T., & Weaver, C.L. (2008). Peer coaching: Professional development for experienced faculty. Innovative Higher Education, 33(1), 5-20.
Ibarra-Sáiz, M.S., Rodríguez-Gómez, G., Boud, D., Rotsaert, T., Brown, S., Salinas-Salazar, M.L., & Rodríguez- Gómez, H.M. (2020). El futuro de la evaluación en la educación superior. RELIEVE, 26(1), art. M1. http://doi.org/10.7203/relieve.26.1.17323
Jia, Y., Spagnolo, A. B., Barrett, N., Murphy, A. A., Basto, P. M., Rothpletz-Puglia, P., & Luther, S. (2025). Validation of a peer observation and evaluation tool for online teaching in the US. Educational technology research and development, 73(1), 615-639. https://doi.org/10.1007/s11423-024-10428-z
Johnston, A. L., Baik, C., & Chester, A. (2022). Peer review of teaching in Australian higher education: a systematic review. Higher Education Research and Development, 41(2), 390-404. https://doi.org/10.1080/07294360.2020.1845124
Kojima, M., Kinomura, Y., & Kuzuhara, K. (2021). Development of observational indicators for evaluat-ing handstand posture in the mat exercise in physical education class: Validity and reliability. Journal of Physical Education and Sport, 21(3), 2087–2096. https://doi.org/10.7752/jpes.2021.s3266
Lachowsky, N. J., Card, K. G., Cui, Z., Sereda, P., Roth, E. A., Hogg, R. S., & Moore, D. M. (2019). Agree-ment between gay, bisexual and other men who have sex with men’s period prevalence and event-level recall of sexual behaviour: An observational respondent-driven sampling study. Se-xual Health, 16(1), 84–87. https://doi.org/10.1071/SH17223
Landis, J. R. y Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310
Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario. Boletín Oficial del Estado, núm. 70, de 23 de marzo de 2023, pp. 43267 a 43339. https://www.boe.es/eli/es/lo/2023/03/22/2/con
Little, B. B. (2009). Quality assurance for online nursing courses. Journal of Nursing Education, 48(7),381–387. https:// doi. org/ 10. 3928/ 01484 834- 20090 615- 05
Matarranz, M. (2021). El Espacio Europeo de Educación Superior y su sello de calidad. Revista española de educación comparada, 37, 153-1573. https://doi.org/10.5944/reec.37.27728
McGahan, S. J., Jackson, C. M., & Premer, K. (2015). Online course quality assurance: Development of a quality checklist. InSight: A Journal of Scholarly Teaching, 10, 126–140.
McNulty, C. A., Syeda, R. B., Brown, C. L., Bennett, C. V., Schofield, B., Allison, D. G., ... & Francis, N. (2020). Peer-education as a tool to educate on antibiotics, resistance and use in 16–18-year-olds: a feasibility study. Antibiotics, 9(4), 146. https://doi.org/10.3390/antibiotics9040146
Menges, R. J. (1987). Colleagues as catalysts for change in teaching. In Kurfiss, J. (Ed.), To improve the academy: Resources for faculty, in¬structional and organizational development, 6 (pp. 83–93). Stillwater, OK: New Forums Press.
OECD. (2019). TALIS 2018 results (Volume I): Teachers and school leaders as lifelong learners. OECD Publishing.
Otero-Saborido, F., Domínguez-Montes, J.A., Cenizo-Benjumea, J.M. & González-Calvo, G. (2024). Peer observation of teaching in higher education: Systematic review of observation tools. Educational Process: International Journal, 13(1), 84-101. https://doi.org/10.22521/edupij.2024.131.6
Peel, D. (2005). Peer observation as a transformatory tool? Teaching in Higher Education, 10(4), 489-504. https://doi.org/10.1080/13562510500239125
Portell, M., Anguera, M. T., Chacón-Moscoso, S., & Sanduvete-Chaves, S. (2015). Guidelines for report-ing evaluations based on observational methodology. Psicothema, 27(3), 283-289. https://doi.org/10.7334/ psicothema2014.276
Rabada-Rice, F., & Scott, R. S. (1986). A peer evaluation for measuring team teaching effectiveness. The Journal of Nursing Education, 25(6), 255-258. https://doi.org/10.3928/0148-4834-19860601-10
Richards, J. C., & Farrell, T. S. C. (2005). Professional development for language teachers: Strategies for teacher learning. Cambridge University Press.
Ridge, B. L., & Lavigne, A. L. (2020). Improving instructional practice through peer observation and feedback. Education Policy Analysis Archives. https:// doi. org/ 10. 14507/ epaa. 28. 5023
Sachs, J., & Parsell, M. (2014). Peer review of learning and teaching in higher education: International perspectives. Springer.
Shortland, S. (2010). Feedback within peer observation: Continuing professional development and unexpected consequences. Innovations in Education and Teaching International, 47(3), 295–304.https:// doi. org/ 10. 1080/ 14703 297. 2010. 498181
Skinner, M. E., & Welch, F. C. (1996). Peer coaching for better teaching. College Teaching, 44, 153–156.
Smith, M. K., Jones, F. H., Gilbert, S. L., & Wieman, C. E. (2013). The classroom observation protocol for undergraduate STEM (COPUS): A new instrument to characterize university STEM classroom practices. CBE—Life Sciences Education, 12, 618–627. https:// doi. org/ 10. 1187/ cbe. 13- 08- 0154
Soto, A., Camerino, O., Iglesias, X., Anguera, M.T. y Castañer, M. (2019). LINCE PLUS: Software de inves-tigación para análisis de vídeo del comportamiento. Apunts. Educación Física y Deportes, 137, 149-153. doi:10.5672/apunts.2014-0983.es.(2019/3).137.11
Soto-Fernández, A., Camerino, O., Iglesias, X., Anguera, M. T., & Castañer, M. (2022). LINCE PLUS soft-ware for systematic observational studies in sports and health. Behavior Research Methods, 54, 1263–1271. https://doi. org/10.3758/s13428-021-01642-1
Stone, A. A., & Shiffman, S. (2002). Capturing momentary, self-report data: A proposal for reporting guidelines. Annals of Behavioral Medicine, 24(3), 236-243. https://doi.org/10.1207/S15324796ABM2403_09
Strahl A, Gerlich C, Alpers GW, Ehrmann K, Gehrke J, Müller-Garnn A, & Vogel H. (2018). Development and evaluation of a standardized peer-training in the context of peer review for quality assur-ance in work capacity evaluation. BMC Med Educ, 18(1):135. https://doi.org/10.1186/s12909-018-1233-z
Sullivan, P. B., Buckle, A., Nicky, G., & Atkinson, S. H. (2012). Peer observation of teaching as a faculty development tool. BMC Medical Education, 12, Article 26. https://doi.org/10.1186/1472-6920-12-26
Thomas, S., Chie, Q. T., Abraham, M., Jalarajan Raj, S., & Beh, L. S. (2014). A qualitative review of litera-ture on peer review of teaching in higher education: An application of the SWOT framework. Review of Educational Research, 84(1), 112–159. https:// doi. org/ 10. 3102/ 00346 54313 499617
Torres, A. C., Lopes, A., Valente, J. M. S., & Mouraz, A. (2017). What catches the eye in class observation? Observers’ perspectives in a multidisciplinary peer observation of teaching program. Teaching in Higher Education, 22(7), 822-838. https://doi.org/10.1080/13562517.2017.1301907
Trujillo, J. M., DiVall, M. V., Barr, J., Gonyeau, M., Van Amburgh, J. A., Matthews, S. J., & Qualters, D. (2008). Development of a peer teaching-assessment program and a peer observation and eval-uation tool. American Journal of Pharmaceutical Education. https:// doi. org/ 10. 5688/ aj720 6147
Var, E., Cam, Y., Pektas, E., & Kuden, C. (2025). Does preoperative anxiety influence endodontic skill performance and students’ subjective perceptions in an observational simulation-based study? BMC Medical Education, 25(1), 1382. https://doi.org/10.1186/s12909-025-07957-3
Yiend, J., Weller, S., & Kinchin, I. (2014). Peer observation of teaching: The interaction between peer review and developmental models of practice. Journal of Further and Higher Education, 38(4), 465–484. https:// doi. org/ 10. 1080/ 03098 77X. 2012. 726967
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2026 José Antonio Domínguez-Montes , Javier Gálvez-González , Roos Van Gasse, Fernando Manuel Otero-Saborido
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-SinDerivadas 4.0.
Los autores que publican en esta revista están de acuerdo con los siguientes términos:
- Los autores conservan los derechos de autor y garantizan a la revista el derecho de ser la primera publicación de su obra, el cuál estará simultáneamente sujeto a la licencia de reconocimiento de Creative Commons que permite a terceros compartir la obra siempre que se indique su autor y su primera publicación esta revista.
- Los autores pueden establecer por separado acuerdos adicionales para la distribución no exclusiva de la versión de la obra publicada en la revista (por ejemplo, situarlo en un repositorio institucional o publicarlo en un libro), con un reconocimiento de su publicación inicial en esta revista.
- Se permite y se anima a los autores a difundir sus trabajos electrónicamente (por ejemplo, en repositorios institucionales o en su propio sitio web) antes y durante el proceso de envío, ya que puede dar lugar a intercambios productivos, así como a una citación más temprana y mayor de los trabajos publicados (Véase The Effect of Open Access) (en inglés).
Esta revista sigue la "open access policy" de BOAI (1), apoyando los derechos de los usuarios a "leer, descargar, copiar, distribuir, imprimir, buscar o enlazar los textos completos de los artículos".
(1) http://legacy.earlham.edu/~peters/fos/boaifaq.htm#openaccess
