SELECTING A MATHEMATICAL MODEL FOR ANALYSIS OF TEST ITEMS OF THE TYPE "EMBEDDED ANSWERS" FOR MATHEMATICAL DISCIPLINES
Інформаційні технології і засоби навчання
View Archive Info| Field | Value | |
| Title |
SELECTING A MATHEMATICAL MODEL FOR ANALYSIS OF TEST ITEMS OF THE TYPE "EMBEDDED ANSWERS" FOR MATHEMATICAL DISCIPLINES
АНАЛИЗ ТЕСТОВЫХ ЗАДАНИЙ ТИПА «ВЛОЖЕННЫЕ ОТВЕТЫ» ПО МАТЕМАТИЧЕСКИМ ДИСЦИПЛИНАМ, СОЗДАННЫХ В ПЛАТФОРМЕ MOODLE, НА ОСНОВЕ МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ ТЕСТОВ ДОБІР МАТЕМАТИЧНОЇ МОДЕЛІ ДЛЯ АНАЛІЗУ ТЕСТОВИХ ЗАВДАНЬ ТИПУ «ВБУДОВАНІ ВІДПОВІДІ» З МАТЕМАТИЧНИХ ДИСЦИПЛІН |
|
| Creator |
Kruglova, Nataliia V.
Dykhovychnyi , Oleksandr O. |
|
| Subject |
computer tests
"embedded answers (cloze)" Rasch’s model polytomous model R programming environment packages eRm и ltm MOODLE комп’ютерне тестування «вбудовані відповіді» модель Раша політомічна модель середовище програмування R пакети eRm і ltm MOODLE |
|
| Description |
The article examines the issue of choosing a mathematical model for the analysis of computer tests in mathematical disciplines. A feature of this study is the exploration of test items of the "embedded answers (cloze)" type. Such test tasks have several “steps” interconnected by a certain logic and have been used precisely for remote control of knowledge in mathematical disciplines during quarantine at NTUU “Igor Sikorsky Kyiv Polytechnic Institute”.The introduction of such tasks into the test raises the question for the teacher: how to analyze the quality of such tests? The authors built the study on the basis of the well-known methods of Classical Test Theory (CTT) and Item Response Theory (IRT), which have proven their effectiveness in pedagogical testing as well as in other industries in which the test approach is used. The study was carried out on the example of a modular test quizzes on probability theory for second-year students of the Faculty of Informatics and Computer Engineering of NTUU "Igor Sikorsky Kyiv Polytechnic Institute", formed on the MOODLE platform during distance learning in November 2020. In the course of the study, the following was done: the quality of the test was analyzed both as a whole and as individual test items; the latent parameters of the tasks were estimated, the adequacy of the corresponding models to the testing data was checked; characteristic and information curves were built; using information criteria, were selected the IRT models the most suitable for the analysis of computer tests with tasks of the "embedded answers" type; it has been proven that both Rush's dichotomous model and Muraki's political model are the most appropriate for the analysis of such tasks. The calculation was carried out using special libraries (packages) of R programming language, in which the KTT and IRT algorithms are implemented, namely, eRm, ltm, mirt. It is shown how the tasks with “embedded answers (cloze)” can be used to analyze certain skills and knowledge of students. The results of the study contribute to improving the competence of teachers in assessing the quality of tests in higher mathematics, which is very important when compiling tests in various disciplines, especially in the situation of student distance learning.
В статье исследуется использование математических статистических методов для анализа компьютерных тестов по математическим дисциплинам. Особенностью тестов является включение в них тестовых вопросов типа «вложенные ответы». Такие тестовые задания имеют несколько связанных определенной логикой подзаданий и были использованы для дистанционного контроля знаний во время карантина. Введение таких заданий в тест ставит перед преподавателем вопрос: как анализировать качество таких тестов? Авторы предложили положить в основу статистического анализа тестов методы Классической Теории Тестов (КТТ) и Современной Теории Тестов (IRT), которые вполне эффективны как в педагогическом тестировании, так и в других отраслях, в которых находит применение тестовый подход. На основе использования статистических критериев исследовано, с помощью каких именно моделей IRT лучше проводить анализ компьютерных тестов с заданиями типа «вложенные ответы». Доказано, что наиболее приемлемыми для анализа подобных задач являются как дихотомическая модель Раша, так и политомическая модель Мураки. Основным инструментом проведения анализа являются специальные пакеты прикладных статистических программ (функций) среды программирования R, в которых реализованы алгоритмы IRT, а именно, eRm, ltm. Показано, какие функции эффективнее реализуют соответствующие алгоритмы. Исследование проводилось на основе результатов модульной тестовой контрольной работы по теории вероятностей для студентов второго курса ФИВТ НТУУ «Киевский Политехнический Институт им. Игоря Сикорского», сформированной на платформе MOODLE во время дистанционного обучения в ноябре 2020 года. Проведен анализ как теста в целом, так и отдельных тестовых заданий. Оценены латентные параметры задач, проверено адекватность соответствующих моделей данным, проведено сравнение моделей по специальными информационными критериям, построены характеристические и информационные кривые. Показано, как с помощью задач с «вложенными ответами» можно проанализировать определенные умения и знания студентов. Результаты исследования способствуют повышению компетентности преподавателей, по оценке качества тестов не только по математическим дисциплинам, особенно при дистанционном обучении студентов. У статті досліджується питання вибору математичної моделі для аналізу комп’ютерних тестів з математичних дисциплін. Особливістю даного дослідження є розгляд тестових завдань типу «вбудовані відповіді». Такі тестові завдання мають декілька пов’язаних за певною логікою «кроків» і були використані саме для дистанційного контролю знань з математичних дисциплін під час карантину в НТУУ «Київський політехнічний інститут імені Ігоря Сікорського». Введення таких завдань у тест ставить перед викладачем питання: як аналізувати якість таких тестів? Автори побудували дослідження на основі загальновідомих методів Класичної Теорії Тестів (КТТ) та Сучасної Теорії Тестів (IRT), які довели свою ефективність як у педагогічному тестуванні, так і в інших галузях, у яких знаходить застосовування тестовий підхід. Дослідження проводилось на прикладі модульної тестової контрольної роботи з теорії ймовірностей для студентів другого курсу факультету інформатики та обчислювальної техніки НТУУ «Київський політехнічний інститут імені Ігоря Сікорського», сформованої на платформі MOODLE під час дистанційного навчання в листопаді 2020 р. Під час дослідження було: проведено аналіз якості тесту як у цілому, так і окремих тестових завдань; оцінено латентні параметри завдань, перевірено адекватність відповідних моделей даним тестування; побудовано характеристичні та інформаційні криві; за допомогою інформаційних критеріїв вибрано моделі IRT, які краще підходять для аналізу комп’ютерних тестів із завданнями типу «вбудовані відповіді»; доведено, що найбільш прийнятними для аналізу подібних завдань є як дихотомічна модель Раша, так і політомічна модель Муракі. Обчислення проводилося за допомогою спеціальних бібліотек (пакетів) мови програмування R, у яких реалізовано алгоритми КТТ та IRT, а саме, eRm, ltm, mirt. Показано, як за допомогою завдань з «вбудованими відповідями» можна проаналізувати певні вміння й знання студентів. Результати дослідження сприяють підвищенню компетентності викладачів щодо оцінювання якості тестів з вищої математики, що є дуже актуальним при складанні тестів з різноманітних дисциплін, особливо під час дистанційного навчання студентів. |
|
| Publisher |
Institute for Digitalisation of Education of NAES of Ukraine
|
|
| Date |
2022-03-01
|
|
| Type |
info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion Peer-reviewed Article рецензируемая статья рецензована стаття |
|
| Format |
application/vnd.openxmlformats-officedocument.wordprocessingml.document
|
|
| Identifier |
https://journal.iitta.gov.ua/index.php/itlt/article/view/4487
10.33407/itlt.v87i1.4487 |
|
| Source |
Information Technologies and Learning Tools; Vol. 87 No. 1 (2022); 166-184
Информационные технологии и средства обучения; Том 87 № 1 (2022); 166-184 Інформаційні технології і засоби навчання; Том 87 № 1 (2022); 166-184 Інформаційні технології і засоби навчання; ##issue.vol## 87 ##issue.no## 1 (2022); 166-184 2076-8184 10.33407/itlt.v87i1 |
|
| Language |
ukr
|
|
| Relation |
https://journal.iitta.gov.ua/index.php/itlt/article/view/4487/1974
|
|
| Rights |
Copyright (c) 2022 Наталія Володимирівна Круглова, Олександр Олександрович Диховичний
https://creativecommons.org/licenses/by-nc-sa/4.0 |
|