IMITATIONAL MODELING AND ANALYSIS OF MATRIXES CONTAINING PRIMARY GRADING OBTAINED IN EDUCATIONAL TESTING BY THE MEANS OF LANGUAGE R
Інформаційні технології і засоби навчання
View Archive Info| Field | Value | |
| Title |
IMITATIONAL MODELING AND ANALYSIS OF MATRIXES CONTAINING PRIMARY GRADING OBTAINED IN EDUCATIONAL TESTING BY THE MEANS OF LANGUAGE R
ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ И АНАЛИЗ МАТРИЦ ПЕРВИЧНЫХ БАЛЛОВ ПЕДАГОГИЧЕСКОГО ТЕСТИРОВАНИЯ С ПОМОЩЬЮ ЯЗЫКА R ІМІТАЦІЙНЕ МОДЕЛЮВАННЯ Й АНАЛІЗ МАТРИЦЬ ПЕРВИННИХ БАЛІВ ПЕДАГОГІЧНОГО ТЕСТУВАННЯ ЗА ДОПОМОГОЮ МОВИ R |
|
| Creator |
Dykhovychnyi, Oleksandr O.
Kruglova, Nataliia V. |
|
| Subject |
IRT; Rasch’s model; Suh-Bolt’s model; Rasch-Masters model; matrix’ modeling of the primary grades; testing
IRT; модель Раша; модель Су-Болта; модель Раша-Мастерса; матрица первичных баллов; латентные параметры; тестирование IRT; модель Раша; модель Су-Болта; модель Раша-Мастерса; матриця первинних балів; латентні параметри; тестування |
|
| Description |
The article researches methods of imitational modeling of matrixes containing primary grading obtained in educational testing by the means of statistical programming language R. Unique algorithms and functions were developed to allow generating of matrix of the primary grades according to corresponding test of the defined structure. The importance of this approach is defined by several reasons, specifically the needs to: create reference samples; analyze primary grades by means of CTT (Clasic Test Theory) and IRT; predict basic statistical test characteristics; clarify parameters for the calibrated tasks; model independent parameters for the test takers; increase and development educator’s competency. It should be noted that input parameters could be generated or set up manually. Comparable analysis was conducted for created functions against already existing function packages, such as eRm, ltm, mcIRT, as well as statistical analysis of the generated matrixes. This analysis took into consideration the following procedures: verification of hypothesis about compatibility between generated matrixes and set parameters for the testing tasks per criteria; verification of hypothesis about equivalence of average grades in entire matrix according Student criteriа; verification of hypothesis about equality for vectors of correct answers relative frequencies by columns according to Hotteling criteriа; comparison of theoretical characteristic curves with empirical probabilities; comparison of set parameters for task complexity and parameters graded by generated matrixes with consideration of errors in grading. An experimental system of imitational modeling and analysis for testing results was created. Such system combines contemporary methods of IRT and methods of Classical Testing Theory (CTT). It allows generating matrixes of primary testing grades and performing test results analysis; permits computation of basic statistical characteristics of the test, estimation of the latent parameters, construction of characteristic curves and informational functions. The system graphic shell was generated with the help of the package Shiny. The system utilizes modeling and analysis for testing results according to basic IRT models: Rasch, Birnbaum, Suh-Bolt, Rasch-Masters. A performance verification for algorithms and functions implemented into the system has been done by utilizing several noted statistical methods and procedures; and correct execution of these algorithms has been confirmed.
В статье исследуются методы имитационного моделирования матриц первичных баллов педагогического тестирования средствами языка статистического программирования R. Разработаны собственные алгоритмы и функции, которые позволяют генерировать матрицу первичных баллов, соответствующей тесту заданной структуры. Важность этого подхода предопределена рядом причин, а именно, необходимостью: создания эталонных выборок, анализа первичных баллов средствами КТТ (Классической Теории Тестов) и IRT; прогнозирования основных статистических характеристик теста; уточнения параметров "откалиброванных" заданий; независимого моделирования параметров испытуемых; повышения компетентности преподавателя. Заметим, что входные параметры для моделирования матриц можно как генерировать, так и задавать вручную. Проведен сравнительный анализ созданных функций с уже существующими функциями пакетов eRm, ltm, mcIRT, а также статистический анализ сгенерированных матриц. Анализ предусматривал такие процедуры: проверка гипотезы об адекватности сгенерированных матриц заданным параметрам тестовых заданий по критерию хи-квадрат; проверка гипотезы о равенстве средних баллов за всей матрице по критерию Стьюдента; проверка гипотезы о равенстве векторов относительных частот правильных ответов по столбцам по критерию Хоттелинга; сравнение теоретических характеристических кривых с эмпирическими вероятностями; сравнение заданных параметров сложности заданий и оцененных по сгенерированным матрицам с учетом погрешностей оценивания. Построена экспериментальная система имитационного моделирования и анализа результатов тестирования, которая объединяет методы современной IRT и КТТ (Классической Теории Тестов), позволяет генерировать матрицы первичных баллов тестирования и проводить анализ результатов тестирования: вычислять основные статистические характеристики теста, оценивать латентные параметры, строить характерные кривые и информационные функции. Графическая оболочка системы построена с помощью пакета Shiny. В системе реализовано моделирование и анализ результатов тестирования в соответствии с базовыми моделями IRT: Раша; Бирнбаума, Су-Болта, Раша-Мастерса. Проведена проверка работы алгоритмов и функций, имплементированных в систему, с помощью ряда указанных статистических методов и процедур, которые подтвердили корректность роботи этих алгоритмов. У статті досліджуються методи імітаційного моделювання матриць первинних балів педагогічного тестування засобами мови статистичного програмування R. Розроблено власні алгоритми і функції, що дозволяють генерувати матрицю первинних балів, яка відповідає тесту заданої структури. Важливість цього підходу зумовлена низкою причин, а саме, необхідністю: створення еталонних вибірок, аналізу первинних балів засобами КТТ (Класичної Теорії Тестів) та IRT; прогнозування основних статистичних характеристик тесту; уточнення параметрів «каліброваних» завдань; незалежного моделюванням параметрів іспитників; підвищення компетентності викладача. Зауважимо, що вхідні параметри для моделювання матриць можна як генерувати, так і задавати вручну. Проведено порівняльний аналіз створених функцій з уже існуючими функціями пакетів eRm, ltm, mcIRT, а також статистичний аналіз згенерованих матриць. Аналіз передбачав такі процедури: перевірка гіпотези про адекватність згенерованих матриць заданим параметрам тестових завдань за критерієм хі-квадрат; перевірка гіпотези про рівність середніх балів за всією матрицею за критерієм Стьюдента; перевірка гіпотези про рівність векторів відносних частот правильних відповідей по стовпцях за критерієм Хоттелінга; порівняння теоретичних характеристичних кривих з емпіричними ймовірностями; порівняння заданих параметрів складності завдань й оцінених за згенерованими матрицями з урахуванням похибок оцінювання. Побудовано експериментальну систему імітаційного моделювання й аналізу результатів тестування, яка об’єднує методи сучасної IRT і КТТ і дає можливість генерувати матриці первинних балів тестування та проводити аналіз результатів тестування: обчислювати основні статистичні характеристики тесту, оцінювати латентні параметри, будувати характеристичні криві та інформаційні функції. Графічна оболонка системи побудована за допомогою пакету Shiny. У системі реалізовано моделювання та аналіз результатів тестування за базовими моделями IRT: Раша; Бірнбаума, Су-Болта, Раша-Мастерса. Проведено перевірку роботи алгоритмів і функцій, імплементованих у систему, за допомогою низки вказаних статистичних методів і процедур, які підтвердили коректність роботих цих алгоритмів. |
|
| Publisher |
Institute of Information Technologies and Learning Tools of NAES of Ukraine
|
|
| Contributor |
—
— ні |
|
| Date |
2018-10-30
|
|
| Type |
info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion рецензована стаття — рецензируемая статья — Peer-reviewed Article — |
|
| Format |
application/pdf
application/pdf |
|
| Identifier |
https://journal.iitta.gov.ua/index.php/itlt/article/view/2104
|
|
| Source |
Information Technologies and Learning Tools; Vol 67, No 5 (2018); 148-160
Информационные технологии и средства обучения; Vol 67, No 5 (2018); 148-160 Інформаційні технології і засоби навчання; Vol 67, No 5 (2018); 148-160 Інформаційні технології і засоби навчання; Vol 67, No 5 (2018); 148-160 2076-8184 |
|
| Language |
ukr
|
|
| Relation |
https://journal.iitta.gov.ua/index.php/itlt/article/view/2104/1386
https://journal.iitta.gov.ua/index.php/itlt/article/view/2104/1390 |
|
| Rights |
Copyright (c) 2018 Oleksandr O. Dykhovychnyi, Nataliia V. Kruglova
http://creativecommons.org/licenses/by-nc-sa/4.0 |
|