Komparace kvality tzv. teacher made testů s didaktickými testy a jejich vliv na úspěšnost žáků: případová studie

Jaroslav Říčan; Jiří Škoda; Viktorie Hermanová; Barbora Lanková

doi:10.14712/18047106.1837

Vol. 12 No. 2 (2021): sciED Research Reports

Comparison of the quality of the teacher made tests with achievement tests and their influence on the success of pupils: case study

Jaroslav Říčan, ¹ Jiří Škoda, Viktorie Hermanová, Barbora Lanková,

Univerzita J. E. Purkyně v Ústí nad Labem

DOI: https://doi.org/10.14712/18047106.1837

PDF (Czech)

How to Cite

Říčan, J., Škoda, J., Hermanová, V., & Lanková, B. (2022). Comparison of the quality of the teacher made tests with achievement tests and their influence on the success of pupils: case study. Scientia in Educatione, 12(2), 18-31. https://doi.org/10.14712/18047106.1837

Download Citation

Abstract

This article compars achievement tests and so-called “teacher-made” tests. The main objective of this case study is to explore and discrepate the results of pupils’ scorings based on whether is test of the same subject has been matter created by the educator or by the researcher. For this reason, the authors ascertain: (1) the quality of teacher-made tests and achievement tests created by the researchers in relation to the regularities of creating achievement tests and (2) the existence of a connection between pupils’ results within their percentage scoring in teacher-made tests and in achievement tests. In order to meet the objectives, the researchers compiled 5 achievement tests on topics that the pupils had been subjected to in the fourth grade of elementary school, during primary science classes. These were then compared to 5 teacher-made tests made by the educator. The study indicates insufficient qualitative aspects of the teacher-made tests (reliability; the ratio of subjectively and objectively scoreable tasks; the ratio of tasks requiring lower and higher cognitive operations; scoring method). Although the correlation analysis revealed a moderately high correlation between the percentage score of pupils in teacher-made tests and achievement tests, we would rather expect a continuity approaching absolute continuity. The results are discussed in relation to the current paradigm of creating didactic tests. The article also points out the limitations of the study and indicates potential ways of further empirical direction.

Keywords primary education, primary science subject, teacher made test, achievement test

References

Anderson, L.W., Krathwohl, D.R., Airasian, P.W., Cruikshank, K.A., Mayer, R.E., Pintrich, P.R., Raths, J., & Wittrock, M. C. (2000). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives, abridged edition. Pearson PLC. Search in Google Scholar
Byčkovský, P. (1982). Základy měření výsledku výuky. Tvorba didaktického testu, ČVUT VÚIS. Search in Google Scholar
Cizek, G. J. (2004). Achievement tests. Encyclopedia of Applied Psychology, 1, 41–42. Search in Google Scholar
Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302. https://doi.org/10.1037/h0040957 Open DOI Search in Google Scholar
Čapek, R. (2015). Moderní didaktika: lexikon výukových a hodnoticích metod. Grada. Search in Google Scholar
Disman, M. (2005). Jak se vyrábí sociologická znalost. Karolinum. Search in Google Scholar
Dutke, S., Barenberg, J., & Leopold, C. (2010). Learning from text: Knowing the test format enhanced metacognitive monitoring. Metacognition and Learning, 5(2), 195–206. https://doi.org/10.1007/s11409-010-9057-1 Open DOI Search in Google Scholar
Fayol, M., Alamargot, D., & Berninger, V.W. (2012). Translation of thought to written text while composing: advancing theory, knowledge, research methods, tools, and applications. Psychology Press/Taylor & Francis Group. Search in Google Scholar
Fitzpatrick, C., Côté-Lussier, C., & Blair, C. (2016). Dressed and groomed for success in elementary school: Student appearance and academic adjustment. Elementary school journal, 117(1), 30–45. https://doi.org/10.1086/687753 Open DOI Search in Google Scholar
Flybvjerg, B. (2006). Five misunderstandings about case-study research. Qualitative inquiry, 12(2), 219–245. https://doi.org/10.1177/1077800405284363 Open DOI Search in Google Scholar
Germ, M., & Harms, U. (2008). What do biology tests look like in German grammar schools? A descriptive study about task formats and teachers intentions for surveying different cognitive dimensions. In M. Hamman, M. Reiss, C. Boulter, & S. D. Tunnincliffe (Eds.), Biology in Context: Learning and Teaching for the twenty-first century (pp. 248–258). Institute of Education. Search in Google Scholar
Haladyna, T.M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied measurement in education, 15(3), 309–333. https://doi.org/10.1207/S15324818AME1503 5 Open DOI Search in Google Scholar
Hališka, J. (1999). Jak testy sestavit a pracovat s nimi. Středisko služeb školám. Search in Google Scholar
Hartell, E., & Strimel, G. J. (2019). What is it called and how does it work: examining content validity and item design of teacher-made tests. International Journal of Technology and Design Education, 29(4), 781–802. https://doi.org/10.1007/s10798-018-9463-2 Open DOI Search in Google Scholar
Hawkes, H.E., Lindquist, E. F., & Mann, C.R. (1936). Construction and use of achievement examinations. Houghton Millin Company. Search in Google Scholar
Hendl, J. (2012). Přehled statistických metod. Portál. Search in Google Scholar
Hofer, S. I. (2015). Studying gender bias in physics grading: The role of teaching experience and country. International Journal of Science Education, 37, 2879–2905. https://doi.org/10.1080/09500693.2015.1114190 Open DOI Search in Google Scholar
Holeček, V. (2014). Psychologie v učitelské praxi. Grada. Search in Google Scholar
Chlup, O. (1931). O školu měšťanskou. Nové školy. Knihovny nových škol. Search in Google Scholar
Chráska, M. (1999). Didaktické testy: příručka pro učitele a studenty učitelství. Paido. Search in Google Scholar
Chráska, M. (2002). Didaktické testy ve školní praxi. Brno. Search in Google Scholar
Chráska, M. (2007). Metody pedagogického výzkumu. Grada. Search in Google Scholar
Chráska, M (2016). Metody pedagogického výzkumu. Grada. Search in Google Scholar
Janík, T., & Stuchlíková, I. (2010). Oborové didaktiky na vzestupu: přehled aktuálních vývojových tendencí. Scientia in educatione, 1, 5–32. Search in Google Scholar
Jeřábek, O., & Bílek, M. (2010). Teorie a praxe tvorby didaktických testů [online] [cit. 10. 5. 2020]. UPOL. Dostupné z http://zvyp.upol.cz/publikace/bilek jerabek.pdf. Search in Google Scholar
Johanson, R. (2003). Case study methodology. Acta Linguistica Hungarica – ACTA LINGUIST HUNG, 32, 22–24. Search in Google Scholar
Johnson, R., & Penny, J. (2005). Split-Half Reliability. In K. Kempf-Leonard (Ed.), Encyclopedia of Social Measurement (pp. 649–654). Elsveir. Search in Google Scholar
Junková, J. (2006). Didaktické testování [online] [cit. 17. 5. 2020]. Dostupné z https://is.muni.cz/el/1441/podzim2009/ZS1BK PDD/didakticke testovani.pdf. Search in Google Scholar
Junková, J. (2009). Didaktické testování [online] [cit. 25. 9. 2020]. Dostupné z https://is.muni.cz/el/1441/podzim2009/ZS1BK PDD/didakticke testovani.pdf Search in Google Scholar
Kalhous, Z., & Obst, O. (2002). Školní didaktika. Portál. Search in Google Scholar
Komenda, S., & Mazuchová, J. (1995). Tvorba a testování testu. UP. Search in Google Scholar
Laufková, V., & Starý, K. (2016). Formativní hodnocení ve výuce. Portál. Search in Google Scholar
Lazarová, B., & Pol, M. (2002). Multikulturalita a rovné příležitosti v české škole. Institut pedagogicko-psychologického poradenství ČR. Search in Google Scholar
Linn, R. L. (2008). Measurement and assessment in teaching. Pearson Education India. Search in Google Scholar
Mareš, J. (2015). Tvorba případových studií pro výzkumné účely. Pedagogika, 65(2), 113–142. Search in Google Scholar
Marinova, V., Tsvetkov, D., & Hristov, L. (2005). On the reliability of didactic tests. Pedagogical Almanac, 13(1), 242–248. Search in Google Scholar
Millman, J., & Greene, J. (1993). The specification and development of tests of achiievement and ability. In R. L. Lin (Ed.), The American Council on Education/Macmillan series on higher education. Educational measurement (pp. 335–366). Macmillan Publishing Co, Inc; American Council on Education. Search in Google Scholar
Mpofu, B. (2011). Formative evaluation versus summative evaluation. Longman. Search in Google Scholar
Popham, W. J. (2017). The ABCs of educational testing: demystifying the tools that shape our schools. Corwin. Search in Google Scholar
Pulpán, Z. (1991). Základy sestavování a klasického vyhodnocování didaktických testů. Kotva. Search in Google Scholar
Rámcový vzdělávací program pro základní vzdělávání. (2017). MŠMT. [on-line] [cit 5. 3. 2020]. Dostupné z: https://www.msmt.cz/file/41216/ Search in Google Scholar
Sedláčková, J. (1993). Diagnostické metody ve vyučování matematice. PřF UPOL. Search in Google Scholar
Sekaran, U. (1992). Research methods for business: A skill building approach. 2nd ed. Wiley. Search in Google Scholar
Schindler, R. (2006). Rukověť autora testových úloh. Centrum pro zjišťování výsledků vzdělávání. Search in Google Scholar
Skutil, M. (2011). Základy pedagogicko-psychologického výzkumu pro studenty učitelství. Portál. Search in Google Scholar
Smékal, V., Švec, V., & Zajac, J. (1973). Didaktické testy a jejich vyhodnocování. Středisko pro výzkum učebních metod a prostředků. Search in Google Scholar
Suchoradský, O. (2008). Testy a jejich užití při hodnocení žáků. Metodický portál [on-line] [cit. 11. 3. 2020]. Dostupné z https://clanky.rvp.cz/clanek/c/Z/2666/TESTY-A-JEJICH-UZITI-PRI-HODNOCENI-ZAKU.html. Search in Google Scholar
Šatánek, A., & Hubálovská, H. (1972). Příspěvek k hodnocení výkonů v testových zkouškách. Pedagogika, 2 185–189. Search in Google Scholar
Škoda, J., & Doulík, P. (2007). Tvorba a hodnocení didaktických testů: cvičebnice pro studenty učitelství a účastníky kurzu DPS. PF UJEP. Search in Google Scholar
Škoda, J., Doulík, P., & Hajerová-Müllerová, L. (2006). Zásady správné tvorby, použití a hodnocení didaktických testů v přípravě budoucích učitelů [on-line] [cit. 2. 2. 2020]. Dostupné z http://cvicebnice.ujep.cz/cvicebnice/FRVS1973F5d/ Search in Google Scholar
Švamberk Šauerová, M. (2016). Hyperaktivita nebo hypoaktivita – výchovný problém. Wolters Kluwer. Search in Google Scholar
Tavakol, M., & Dennick, R. (2011). Making sense of Cronbach’s alpha. International Journal of Medical Education, 2, 53–55. https://doi.org/10.5116/ijme.4dfb.8dfd Open DOI Search in Google Scholar
Tournaki, N. (2003). Effect of student characteristics on teachers’ predictions of student success. Journal of Educational Research, 96(5), 310–319. https://doi.org/10.1080/00220670309597643 Open DOI Search in Google Scholar
Trčková, V. (2013). Didaktické testování jako profesní kompetence učitele matematiky na základní škole (Diplomová práce). [online] [cit. 9. 3. 2020]. Dostupné z https://theses.cz/id/03mwq9/. Search in Google Scholar
Urbánek, T. (2002). Základy psychometriky. Masarykova univerzita. Search in Google Scholar
Vrána, S. (1948). Zkoušení a známkování. Komenium, učitelské nakladatelství. Search in Google Scholar
Ward, A., Stoker, H.W., & Murray-Ward, M. (1996). Educational measurement: Theories and applications (Vol. 2). University Press of America. Search in Google Scholar

License

Authors who publish with this journal agree to the following terms:

Authors retain copyright and grant the journal right of first publication with the work simultaneously licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal.
Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgement of its initial publication in this journal.
Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of the published work (See The Effect of Open Access).

[1] Anderson, L.W., Krathwohl, D.R., Airasian, P.W., Cruikshank, K.A., Mayer, R.E., Pintrich, P.R., Raths, J., & Wittrock, M. C. (2000). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives, abridged edition. Pearson PLC. Search in Google Scholar

[2] Byčkovský, P. (1982). Základy měření výsledku výuky. Tvorba didaktického testu, ČVUT VÚIS. Search in Google Scholar

[3] Cizek, G. J. (2004). Achievement tests. Encyclopedia of Applied Psychology, 1, 41–42. Search in Google Scholar

[4] Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302. https://doi.org/10.1037/h0040957 Open DOI Search in Google Scholar

[5] Čapek, R. (2015). Moderní didaktika: lexikon výukových a hodnoticích metod. Grada. Search in Google Scholar

[6] Disman, M. (2005). Jak se vyrábí sociologická znalost. Karolinum. Search in Google Scholar

[7] Dutke, S., Barenberg, J., & Leopold, C. (2010). Learning from text: Knowing the test format enhanced metacognitive monitoring. Metacognition and Learning, 5(2), 195–206. https://doi.org/10.1007/s11409-010-9057-1 Open DOI Search in Google Scholar

[8] Fayol, M., Alamargot, D., & Berninger, V.W. (2012). Translation of thought to written text while composing: advancing theory, knowledge, research methods, tools, and applications. Psychology Press/Taylor & Francis Group. Search in Google Scholar

[9] Fitzpatrick, C., Côté-Lussier, C., & Blair, C. (2016). Dressed and groomed for success in elementary school: Student appearance and academic adjustment. Elementary school journal, 117(1), 30–45. https://doi.org/10.1086/687753 Open DOI Search in Google Scholar

[10] Flybvjerg, B. (2006). Five misunderstandings about case-study research. Qualitative inquiry, 12(2), 219–245. https://doi.org/10.1177/1077800405284363 Open DOI Search in Google Scholar

[11] Germ, M., & Harms, U. (2008). What do biology tests look like in German grammar schools? A descriptive study about task formats and teachers intentions for surveying different cognitive dimensions. In M. Hamman, M. Reiss, C. Boulter, & S. D. Tunnincliffe (Eds.), Biology in Context: Learning and Teaching for the twenty-first century (pp. 248–258). Institute of Education. Search in Google Scholar

[12] Haladyna, T.M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied measurement in education, 15(3), 309–333. https://doi.org/10.1207/S15324818AME1503 5 Open DOI Search in Google Scholar

[13] Hališka, J. (1999). Jak testy sestavit a pracovat s nimi. Středisko služeb školám. Search in Google Scholar

[14] Hartell, E., & Strimel, G. J. (2019). What is it called and how does it work: examining content validity and item design of teacher-made tests. International Journal of Technology and Design Education, 29(4), 781–802. https://doi.org/10.1007/s10798-018-9463-2 Open DOI Search in Google Scholar

[15] Hawkes, H.E., Lindquist, E. F., & Mann, C.R. (1936). Construction and use of achievement examinations. Houghton Millin Company. Search in Google Scholar

[16] Hendl, J. (2012). Přehled statistických metod. Portál. Search in Google Scholar

[17] Hofer, S. I. (2015). Studying gender bias in physics grading: The role of teaching experience and country. International Journal of Science Education, 37, 2879–2905. https://doi.org/10.1080/09500693.2015.1114190 Open DOI Search in Google Scholar

[18] Holeček, V. (2014). Psychologie v učitelské praxi. Grada. Search in Google Scholar

[19] Chlup, O. (1931). O školu měšťanskou. Nové školy. Knihovny nových škol. Search in Google Scholar

[20] Chráska, M. (1999). Didaktické testy: příručka pro učitele a studenty učitelství. Paido. Search in Google Scholar

[21] Chráska, M. (2002). Didaktické testy ve školní praxi. Brno. Search in Google Scholar

[22] Chráska, M. (2007). Metody pedagogického výzkumu. Grada. Search in Google Scholar

[23] Chráska, M (2016). Metody pedagogického výzkumu. Grada. Search in Google Scholar

[24] Janík, T., & Stuchlíková, I. (2010). Oborové didaktiky na vzestupu: přehled aktuálních vývojových tendencí. Scientia in educatione, 1, 5–32. Search in Google Scholar

[25] Jeřábek, O., & Bílek, M. (2010). Teorie a praxe tvorby didaktických testů [online] [cit. 10. 5. 2020]. UPOL. Dostupné z http://zvyp.upol.cz/publikace/bilek jerabek.pdf. Search in Google Scholar

[26] Johanson, R. (2003). Case study methodology. Acta Linguistica Hungarica – ACTA LINGUIST HUNG, 32, 22–24. Search in Google Scholar

[27] Johnson, R., & Penny, J. (2005). Split-Half Reliability. In K. Kempf-Leonard (Ed.), Encyclopedia of Social Measurement (pp. 649–654). Elsveir. Search in Google Scholar

[28] Junková, J. (2006). Didaktické testování [online] [cit. 17. 5. 2020]. Dostupné z https://is.muni.cz/el/1441/podzim2009/ZS1BK PDD/didakticke testovani.pdf. Search in Google Scholar

[29] Junková, J. (2009). Didaktické testování [online] [cit. 25. 9. 2020]. Dostupné z https://is.muni.cz/el/1441/podzim2009/ZS1BK PDD/didakticke testovani.pdf Search in Google Scholar

[30] Kalhous, Z., & Obst, O. (2002). Školní didaktika. Portál. Search in Google Scholar

[31] Komenda, S., & Mazuchová, J. (1995). Tvorba a testování testu. UP. Search in Google Scholar

[32] Laufková, V., & Starý, K. (2016). Formativní hodnocení ve výuce. Portál. Search in Google Scholar

[33] Lazarová, B., & Pol, M. (2002). Multikulturalita a rovné příležitosti v české škole. Institut pedagogicko-psychologického poradenství ČR. Search in Google Scholar

[34] Linn, R. L. (2008). Measurement and assessment in teaching. Pearson Education India. Search in Google Scholar

[35] Mareš, J. (2015). Tvorba případových studií pro výzkumné účely. Pedagogika, 65(2), 113–142. Search in Google Scholar

[36] Marinova, V., Tsvetkov, D., & Hristov, L. (2005). On the reliability of didactic tests. Pedagogical Almanac, 13(1), 242–248. Search in Google Scholar

[37] Millman, J., & Greene, J. (1993). The specification and development of tests of achiievement and ability. In R. L. Lin (Ed.), The American Council on Education/Macmillan series on higher education. Educational measurement (pp. 335–366). Macmillan Publishing Co, Inc; American Council on Education. Search in Google Scholar

[38] Mpofu, B. (2011). Formative evaluation versus summative evaluation. Longman. Search in Google Scholar

[39] Popham, W. J. (2017). The ABCs of educational testing: demystifying the tools that shape our schools. Corwin. Search in Google Scholar

[40] Pulpán, Z. (1991). Základy sestavování a klasického vyhodnocování didaktických testů. Kotva. Search in Google Scholar

[41] Rámcový vzdělávací program pro základní vzdělávání. (2017). MŠMT. [on-line] [cit 5. 3. 2020]. Dostupné z: https://www.msmt.cz/file/41216/ Search in Google Scholar

[42] Sedláčková, J. (1993). Diagnostické metody ve vyučování matematice. PřF UPOL. Search in Google Scholar

[43] Sekaran, U. (1992). Research methods for business: A skill building approach. 2nd ed. Wiley. Search in Google Scholar

[44] Schindler, R. (2006). Rukověť autora testových úloh. Centrum pro zjišťování výsledků vzdělávání. Search in Google Scholar

[45] Skutil, M. (2011). Základy pedagogicko-psychologického výzkumu pro studenty učitelství. Portál. Search in Google Scholar

[46] Smékal, V., Švec, V., & Zajac, J. (1973). Didaktické testy a jejich vyhodnocování. Středisko pro výzkum učebních metod a prostředků. Search in Google Scholar

[47] Suchoradský, O. (2008). Testy a jejich užití při hodnocení žáků. Metodický portál [on-line] [cit. 11. 3. 2020]. Dostupné z https://clanky.rvp.cz/clanek/c/Z/2666/TESTY-A-JEJICH-UZITI-PRI-HODNOCENI-ZAKU.html. Search in Google Scholar

[48] Šatánek, A., & Hubálovská, H. (1972). Příspěvek k hodnocení výkonů v testových zkouškách. Pedagogika, 2 185–189. Search in Google Scholar

[49] Škoda, J., & Doulík, P. (2007). Tvorba a hodnocení didaktických testů: cvičebnice pro studenty učitelství a účastníky kurzu DPS. PF UJEP. Search in Google Scholar

[50] Škoda, J., Doulík, P., & Hajerová-Müllerová, L. (2006). Zásady správné tvorby, použití a hodnocení didaktických testů v přípravě budoucích učitelů [on-line] [cit. 2. 2. 2020]. Dostupné z http://cvicebnice.ujep.cz/cvicebnice/FRVS1973F5d/ Search in Google Scholar

[51] Švamberk Šauerová, M. (2016). Hyperaktivita nebo hypoaktivita – výchovný problém. Wolters Kluwer. Search in Google Scholar

[52] Tavakol, M., & Dennick, R. (2011). Making sense of Cronbach’s alpha. International Journal of Medical Education, 2, 53–55. https://doi.org/10.5116/ijme.4dfb.8dfd Open DOI Search in Google Scholar

[53] Tournaki, N. (2003). Effect of student characteristics on teachers’ predictions of student success. Journal of Educational Research, 96(5), 310–319. https://doi.org/10.1080/00220670309597643 Open DOI Search in Google Scholar

[54] Trčková, V. (2013). Didaktické testování jako profesní kompetence učitele matematiky na základní škole (Diplomová práce). [online] [cit. 9. 3. 2020]. Dostupné z https://theses.cz/id/03mwq9/. Search in Google Scholar

[55] Urbánek, T. (2002). Základy psychometriky. Masarykova univerzita. Search in Google Scholar

[56] Vrána, S. (1948). Zkoušení a známkování. Komenium, učitelské nakladatelství. Search in Google Scholar

[57] Ward, A., Stoker, H.W., & Murray-Ward, M. (1996). Educational measurement: Theories and applications (Vol. 2). University Press of America. Search in Google Scholar

Scientia in educatione

Abstract

References

Downloads

License