Procedimento de fiabilidade da ferramenta de observação por pares no ensino superior (he-pot)Introdução: A observação do ensino por pares (OEP) tem vindo a tornar-se cada vez mais popular nas instituições de ensino superior de todo o mundo. No entanto, poucos instrumentos foram submetidos a validação e testes de fiabilidade.Objectivo: Analisar a fiabilidade da ferramenta OEP-Ensino Superior (OEP-ES) para a sua aplicação subsequente e melhoria do ensino universitário a partir de uma abordagem colaborativa.Metodologia: Foi utilizado um desenho observacional nomotético, pontual e multidimensional para analisar 50 sessões de ensino utilizando a ferramenta OEP-ES validada e o software Lince Plus. Três professores universitários funcionaram como observadores, enquanto quatro professores da Faculdade de Ciências do Desporto foram observados. A fiabilidade foi assegurada através de treino especializado, avaliada através do coeficiente Kappa de Cohen (intra e interobservador) e de uma análise de generalizabilidade das facetas observador, item e sessão.Resultados: A ferramenta apresentou uma excelente fiabilidade interobservador (média = 0,867) e uma elevada generalizabilidade para a faceta itens (e² = 0,876). Os resultados realçam que a maior variância (61,2%) reside na interação item-sessão, confirmando a estabilidade dos observadores face à heterogeneidade dos comportamentos pedagógicos.Conclusões: Os níveis de concordância e generalização demonstram que o instrumento HE-PoT é uma ferramenta fiável para a observação entre pares no corpo docente universitário.
DOI:
https://doi.org/10.47197/retos.v82.119089Palavras-chave:
Análisis de fiabilidad, educación superior, herramientas de observación, metodología observacional, observación por paresResumo
Introdução: A observação do ensino por pares (OEP) tem vindo a tornar-se cada vez mais popular nas instituições de ensino superior de todo o mundo. No entanto, poucos instrumentos foram submetidos a validação e testes de fiabilidade.
Objectivo: Analisar a fiabilidade da ferramenta OEP-Ensino Superior (OEP-ES) para a sua aplicação subsequente e melhoria do ensino universitário a partir de uma abordagem colaborativa.
Metodologia: Foi utilizado um desenho observacional nomotético, pontual e multidimensional para analisar 50 sessões de ensino utilizando a ferramenta OEP-ES validada e o software Lince Plus. Três professores universitários funcionaram como observadores, enquanto quatro professores da Faculdade de Ciências do Desporto foram observados. A fiabilidade foi assegurada através de treino especializado, avaliada através do coeficiente Kappa de Cohen (intra e interobservador) e de uma análise de generalizabilidade das facetas observador, item e sessão.
Resultados: A ferramenta apresentou uma excelente fiabilidade interobservador (média = 0,867) e uma elevada generalizabilidade para a faceta itens (e² = 0,876). Os resultados realçam que a maior variância (61,2%) reside na interação item-sessão, confirmando a estabilidade dos observadores face à heterogeneidade dos comportamentos pedagógicos.
Conclusões: Os níveis de concordância e generalização demonstram que o instrumento HE-PoT é uma ferramenta fiável para a observação entre pares no corpo docente universitário.
Referências
Álvarez Medina, J., Murillo Lorente, V., Casterad Seral, J., & Nuviala, A. (2022). Valoración del aprendizaje técnico del voleibol mediante la metodología observacional por pares en estudiantes universitarios. Cultura, Ciencia y Deporte, 17(51),31-39. http://dx.doi.org/10.12800/ccd.v17i51.1662
Amrein-Beardsley, A., & Popp, S. E. O. (2012). Peer observations among faculty in a college of educa-tion: Investigating the summative and formative uses of the Reformed Teaching Observation Protocol (RTOP). Educational Assessment, Evaluation and Accountability, 24(1), 5-24. https://doi.org/10.1007/s11092-011-9135-1
Anguera, M. T., Blanco, A., Hernández, A., & Losada, J. L. (2011). Diseños Observacionales: Ajuste y aplicación en psicología del deporte. Cuadernos de Psicología del Deporte, 11(2), 63-76.
Aránguiz, C., Rivera-Vargas, P. y Imbernón, F. (2021). A una década del Plan Bolonia: posibilidades y límites de su implementación en la Universidad de Barcelona. Revista de la educación superior, 50(200), 85-104. https://doi.org/10.36857/resu.2021.200.1891
Aznar Díaz, I., Hinojo-Lucena, F. J., Cáceres-Reche, M. P. y Romero-Rodríguez, J. M. (2020). Pedagogical Approaches in the Knowledge Society: The Flipped Classroom Method for the Development of Creativity and Dialogical Learning. International Journal of Emerging Technologies in Learning, 15(3), 4-14. http://dx.doi.org/10.3991/ijet.v15i03.11664
Bailey, K.M. (2006). Language Teacher Supervision: A Case-Based Approach. Cambridge University Press.
Bell, M. (2001). Supported reflective practice: A programme of peer observation and feedback for academic teaching development. International Journal for Academic Development, 6(1), 29–39.
Brancato, V. C. (2003). Professional development in higher education. In King, K., & Lawler, P. (Eds.), New perspectives on designing and implementing professional development of teachers of adults (pp. 59–65). New directions for adult and continuing education, vol. 98. San Francisco, CA: Jossey-Bass.
Burk, K. S., Zhao, A. H., Glazer, D. I., Giess, C. S., Boland, G. W., & Khorasani, R. (2022). Assessment of a large-scale peer learning program’s value by manual review of case submissions. Journal of the American College of Radiology, 19(10), 1138-1150 https://doi.org/10.1016/j.jacr.2022.04.012
Byrne, J., Brown, H., & Challen, D. (2010). Peer development as an alternative to peer observation: A tool to enhance professional development. International Journal for Academic Development, 15(3), 215-228. https://doi.org/10.1080/1360144X.2010.497685
Carragher, J., & McGaughey, J. (2016). The effectiveness of peer mentoring in promoting a positive transition to higher education for first-year undergraduate students: A mixed methods system-atic review protocol. Systematic Reviews, 5(1), Article 68. https://doi.org/10.1186/s13643-016-0245-1
Chao, T., Saj, T., & Tessier, F. (2006). Establishing a quality review for online courses. Educause Quarterly, 29(3), 32–39.
Chism, N. (2007). Peer review of teaching: A sourcebook. Anker.
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104
Corcelles-Seuba, M., Duran, D., Flores, M., Miquel, E. y Ribosa, J. (2023). Percepciones docentes sobre observación entre iguales: resistencias, agencia, procedimiento y objetivos de mejora. Estudios sobre Educación, 44, 35-58. https://doi.org/10.15581/004.44.002
Corcelles-Seuba, M., Ortiz, M., O'Leary, M. y Duran, D. (2025). Una revisión sistemática de la observación recíproca entre pares en la educación superior. Desarrollo Profesional en Educación, 1-18. https://doi.org/10.1080/19415257.2025.2480768
Crabtree, J. L, Scott, P. J., & Kuo, F. (2016). Peer observation and evaluation tool (POET): A formative peer review supporting teaching. The Open Journal of Occupational Therapy. https:// doi. org/ 10. 15453/ 2168- 6408. 1273
Crehan, M., Munro, M., O’Keeffe, M. (2023). Peer Observation of Teaching in the Virtual University: Factors for Success. In: Sankey, M.D., Huijser, H., Fitzgerald, R. (eds) Technology-Enhanced Learning and the Virtual University. University Development and Administration. Springer, Singapore. https://doi.org/10.1007/978-981-19-9438-8_9-1
Cronbach, L. J. (1972). The dependability of behavioral measurements: Theory of generalizability for scores and profiles. Wiley.
De la Iglesia, B., Duma, L., Forteza, D., Llabrés, J., Moreno-Tallón, F. y Ribosa, J. (2025). El feedback entre docentes en un ciclo de observación entre iguales. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 23(3). https://doi.org/10.15366/reice2025.23.3.007
Domínguez-Montes, J.A., Cenizo-Benjumea, J.M., Gálvez-González, J. & Otero-Saborido, F. (2024). De-sign and validation of a university education peer observation tool. Revista de Gestão Social e Ambiental, 18(10), 1-19. https://doi.org/10.24857/rgsa.v18n10-301
Eddy, S. L., Converse, M., & Wenderoth, M. P. (2015). PORTAAL: A classroom observation tool assessing evidencebased teaching practices for active learning in large science, technology, engineering, and mathematics classes. CBE—Life Sciences Education, 14(2), 1–16. https:// doi. org/ 10. 1187/ cbe.14- 06- 0095
Escartí, A., Gutiérrez, M., Pascual, C., & Wright, P. (2013). Observación de las estrategias que emplean los profesores de educación física para enseñar responsabilidad personal y social. Revista de Psicologia del Deporte, 22(1), 159-166.
Fletcher, J. A. (2018). Peer observation of teaching: A practical tool in higher education. The Journal of Faculty Development, 32(1), 51-64. https://doi.org/10.13140/RG.2.2.19455.82084
Flores Ferro, E., Maureira Cid, F., Castillo-Retamal, F., Matus-Castillo, C., Gamboa Jiménez, R., Moral Moreno, L., Muñoz Lara, M., Portugal Villar, J., & Saavedra Esteban, E. (2025). Construcción y validación la Escala de Percepción de la Investigación Universitaria (EPIU) en estudiantes de Educación Física de Chile. Retos, 73, 66-77. https://doi.org/10.47197/retos.v73.116575
Esteban, E. (2025). Construcción y validación la Escala de Percepción de la Investigación Universitaria (EPIU) en estudiantes de Educación Física de Chile. Retos, 73, 66-77. https://doi.org/10.47197/retos.v73.116575
Flores, M., Miquel, E., & Duran, D. (2025). Teacher collaborative knowledge buildingin Reciprocal Peer Observation. European Journal of Psychology of Education, 40(1), 45. https://doi.org/10.1007/s10212-025-00945-7
Gabín, B., Camerino, O., Anguera, M.T. & Castañer, M. (2012). Lince: Multiplatform sport analysis software. ProcediaSocial and Behavioral Sciences, 46, 4692-4694.
Garcia, I., James, R. W., Bischof, P., & Baroffio, A. (2017). Self-Observation and Peer Feedback as a Faculty Development Approach for Problem-Based Learning Tutors: A Program Evaluation. Teaching and Learning in Medicine, 29(3), 313-325. https://doi.org/10.1080/10401334.2017.1279056
Gosling, D. (2002, August). Models of peer observation of teaching [Keynote address at LTSNGC Peer Observation of Teaching Conference.
Hammersley-Fletcher, L., & Orsmond, P. (2005). Reflecting on reflective practices within peer observation. Studies in Higher Education, 30(2), 213–224.
Hashim, N., & Ab Wahid, H. (2024). Entrepreneurial Mentoring Synergy: An In-Depth Analysis of Polytechnic and Community College (PolyCC) Lecturers as Mentors to Student Start-Up Entrepreneurs. PaperASIA, 40(4b), 239–247. https://doi.org/10.59953/paperasia.v40i4b.206
Hernández-Mendo, A., Blanco-Villaseñor, Á., Pastrana, J. L., Morales- Sánchez, V., & Francisco Jesús Ramos-Pérez. (2016). SAGT: Aplicación Informática para Análisis de Generalizabilidad. Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 11(1), 77-89.
Huston, T., & Weaver, C.L. (2008). Peer coaching: Professional development for experienced faculty. Innovative Higher Education, 33(1), 5-20.
Ibarra-Sáiz, M.S., Rodríguez-Gómez, G., Boud, D., Rotsaert, T., Brown, S., Salinas-Salazar, M.L., & Rodríguez- Gómez, H.M. (2020). El futuro de la evaluación en la educación superior. RELIEVE, 26(1), art. M1. http://doi.org/10.7203/relieve.26.1.17323
Jia, Y., Spagnolo, A. B., Barrett, N., Murphy, A. A., Basto, P. M., Rothpletz-Puglia, P., & Luther, S. (2025). Validation of a peer observation and evaluation tool for online teaching in the US. Educational technology research and development, 73(1), 615-639. https://doi.org/10.1007/s11423-024-10428-z
Johnston, A. L., Baik, C., & Chester, A. (2022). Peer review of teaching in Australian higher education: a systematic review. Higher Education Research and Development, 41(2), 390-404. https://doi.org/10.1080/07294360.2020.1845124
Kojima, M., Kinomura, Y., & Kuzuhara, K. (2021). Development of observational indicators for evaluat-ing handstand posture in the mat exercise in physical education class: Validity and reliability. Journal of Physical Education and Sport, 21(3), 2087–2096. https://doi.org/10.7752/jpes.2021.s3266
Lachowsky, N. J., Card, K. G., Cui, Z., Sereda, P., Roth, E. A., Hogg, R. S., & Moore, D. M. (2019). Agree-ment between gay, bisexual and other men who have sex with men’s period prevalence and event-level recall of sexual behaviour: An observational respondent-driven sampling study. Se-xual Health, 16(1), 84–87. https://doi.org/10.1071/SH17223
Landis, J. R. y Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310
Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario. Boletín Oficial del Estado, núm. 70, de 23 de marzo de 2023, pp. 43267 a 43339. https://www.boe.es/eli/es/lo/2023/03/22/2/con
Little, B. B. (2009). Quality assurance for online nursing courses. Journal of Nursing Education, 48(7),381–387. https:// doi. org/ 10. 3928/ 01484 834- 20090 615- 05
Matarranz, M. (2021). El Espacio Europeo de Educación Superior y su sello de calidad. Revista española de educación comparada, 37, 153-1573. https://doi.org/10.5944/reec.37.27728
McGahan, S. J., Jackson, C. M., & Premer, K. (2015). Online course quality assurance: Development of a quality checklist. InSight: A Journal of Scholarly Teaching, 10, 126–140.
McNulty, C. A., Syeda, R. B., Brown, C. L., Bennett, C. V., Schofield, B., Allison, D. G., ... & Francis, N. (2020). Peer-education as a tool to educate on antibiotics, resistance and use in 16–18-year-olds: a feasibility study. Antibiotics, 9(4), 146. https://doi.org/10.3390/antibiotics9040146
Menges, R. J. (1987). Colleagues as catalysts for change in teaching. In Kurfiss, J. (Ed.), To improve the academy: Resources for faculty, in¬structional and organizational development, 6 (pp. 83–93). Stillwater, OK: New Forums Press.
OECD. (2019). TALIS 2018 results (Volume I): Teachers and school leaders as lifelong learners. OECD Publishing.
Otero-Saborido, F., Domínguez-Montes, J.A., Cenizo-Benjumea, J.M. & González-Calvo, G. (2024). Peer observation of teaching in higher education: Systematic review of observation tools. Educational Process: International Journal, 13(1), 84-101. https://doi.org/10.22521/edupij.2024.131.6
Peel, D. (2005). Peer observation as a transformatory tool? Teaching in Higher Education, 10(4), 489-504. https://doi.org/10.1080/13562510500239125
Portell, M., Anguera, M. T., Chacón-Moscoso, S., & Sanduvete-Chaves, S. (2015). Guidelines for report-ing evaluations based on observational methodology. Psicothema, 27(3), 283-289. https://doi.org/10.7334/ psicothema2014.276
Rabada-Rice, F., & Scott, R. S. (1986). A peer evaluation for measuring team teaching effectiveness. The Journal of Nursing Education, 25(6), 255-258. https://doi.org/10.3928/0148-4834-19860601-10
Richards, J. C., & Farrell, T. S. C. (2005). Professional development for language teachers: Strategies for teacher learning. Cambridge University Press.
Ridge, B. L., & Lavigne, A. L. (2020). Improving instructional practice through peer observation and feedback. Education Policy Analysis Archives. https:// doi. org/ 10. 14507/ epaa. 28. 5023
Sachs, J., & Parsell, M. (2014). Peer review of learning and teaching in higher education: International perspectives. Springer.
Shortland, S. (2010). Feedback within peer observation: Continuing professional development and unexpected consequences. Innovations in Education and Teaching International, 47(3), 295–304.https:// doi. org/ 10. 1080/ 14703 297. 2010. 498181
Skinner, M. E., & Welch, F. C. (1996). Peer coaching for better teaching. College Teaching, 44, 153–156.
Smith, M. K., Jones, F. H., Gilbert, S. L., & Wieman, C. E. (2013). The classroom observation protocol for undergraduate STEM (COPUS): A new instrument to characterize university STEM classroom practices. CBE—Life Sciences Education, 12, 618–627. https:// doi. org/ 10. 1187/ cbe. 13- 08- 0154
Soto, A., Camerino, O., Iglesias, X., Anguera, M.T. y Castañer, M. (2019). LINCE PLUS: Software de inves-tigación para análisis de vídeo del comportamiento. Apunts. Educación Física y Deportes, 137, 149-153. doi:10.5672/apunts.2014-0983.es.(2019/3).137.11
Soto-Fernández, A., Camerino, O., Iglesias, X., Anguera, M. T., & Castañer, M. (2022). LINCE PLUS soft-ware for systematic observational studies in sports and health. Behavior Research Methods, 54, 1263–1271. https://doi. org/10.3758/s13428-021-01642-1
Stone, A. A., & Shiffman, S. (2002). Capturing momentary, self-report data: A proposal for reporting guidelines. Annals of Behavioral Medicine, 24(3), 236-243. https://doi.org/10.1207/S15324796ABM2403_09
Strahl A, Gerlich C, Alpers GW, Ehrmann K, Gehrke J, Müller-Garnn A, & Vogel H. (2018). Development and evaluation of a standardized peer-training in the context of peer review for quality assur-ance in work capacity evaluation. BMC Med Educ, 18(1):135. https://doi.org/10.1186/s12909-018-1233-z
Sullivan, P. B., Buckle, A., Nicky, G., & Atkinson, S. H. (2012). Peer observation of teaching as a faculty development tool. BMC Medical Education, 12, Article 26. https://doi.org/10.1186/1472-6920-12-26
Thomas, S., Chie, Q. T., Abraham, M., Jalarajan Raj, S., & Beh, L. S. (2014). A qualitative review of litera-ture on peer review of teaching in higher education: An application of the SWOT framework. Review of Educational Research, 84(1), 112–159. https:// doi. org/ 10. 3102/ 00346 54313 499617
Torres, A. C., Lopes, A., Valente, J. M. S., & Mouraz, A. (2017). What catches the eye in class observation? Observers’ perspectives in a multidisciplinary peer observation of teaching program. Teaching in Higher Education, 22(7), 822-838. https://doi.org/10.1080/13562517.2017.1301907
Trujillo, J. M., DiVall, M. V., Barr, J., Gonyeau, M., Van Amburgh, J. A., Matthews, S. J., & Qualters, D. (2008). Development of a peer teaching-assessment program and a peer observation and eval-uation tool. American Journal of Pharmaceutical Education. https:// doi. org/ 10. 5688/ aj720 6147
Var, E., Cam, Y., Pektas, E., & Kuden, C. (2025). Does preoperative anxiety influence endodontic skill performance and students’ subjective perceptions in an observational simulation-based study? BMC Medical Education, 25(1), 1382. https://doi.org/10.1186/s12909-025-07957-3
Yiend, J., Weller, S., & Kinchin, I. (2014). Peer observation of teaching: The interaction between peer review and developmental models of practice. Journal of Further and Higher Education, 38(4), 465–484. https:// doi. org/ 10. 1080/ 03098 77X. 2012. 726967
Downloads
Publicado
Edição
Secção
Licença
Direitos de Autor (c) 2026 José Antonio Domínguez-Montes , Javier Gálvez-González , Roos Van Gasse, Fernando Manuel Otero-Saborido
Este trabalho encontra-se publicado com a Licença Internacional Creative Commons Atribuição-NãoComercial-SemDerivações 4.0.
Autores que publicam nesta revista concordam com os seguintes termos:
- Autores mantém os direitos autorais e assegurar a revista o direito de ser a primeira publicação da obra como licenciado sob a Licença Creative Commons Attribution que permite que outros para compartilhar o trabalho com o crédito de autoria do trabalho e publicação inicial nesta revista.
- Os autores podem estabelecer acordos adicionais separados para a distribuição não-exclusiva da versão do trabalho publicado na revista (por exemplo, a um repositório institucional, ou publicá-lo em um livro), com reconhecimento de autoria e publicação inicial nesta revista.
- É permitido e os autores são incentivados a divulgar o seu trabalho por via electrónica (por exemplo, em repositórios institucionais ou no seu próprio site), antes e durante o processo de envio, pois pode gerar alterações produtivas, bem como a uma intimação mais Cedo e mais do trabalho publicado (Veja O Efeito do Acesso Livre) (em Inglês).
Esta revista é a "política de acesso aberto" de Boai (1), apoiando os direitos dos usuários de "ler, baixar, copiar, distribuir, imprimir, pesquisar, ou link para os textos completos dos artigos". (1) http://legacy.earlham.edu/~peters/fos/boaifaq.htm#openaccess
