DESIGNING OF COMPUTERIZED ADAPTIVE TESTS IN THE ABSENCE OF TESTING STATISTICS
Інформаційні технології і засоби навчання
View Archive Info| Field | Value | |
| Title |
DESIGNING OF COMPUTERIZED ADAPTIVE TESTS IN THE ABSENCE OF TESTING STATISTICS
ПРОЕКТИРОВАНИЕ КОМПЬЮТЕРИЗИРОВАННЫХ АДАПТИВНЫХ ТЕСТОВ ПРИ ОТСУТСТВИИ СТАТИСТИКИ ТЕСТИРОВАНИЯ ПРОЄКТУВАННЯ КОМП'ЮТЕРИЗОВАНИХ АДАПТИВНИХ ТЕСТІВ ЗА ВІДСУТНОСТІ СТАТИСТИКИ ТЕСТУВАННЯ |
|
| Creator |
Bondarenko, Viktor E.
|
|
| Subject |
computerized adaptive test
analytic hierarchy process experts’ conclusion decision tables a network of decision tables компьютеризированный адаптивный тест метод анализа иерархий заключение экспертов таблицы решений сеть таблиц решений комп'ютеризований адаптивний тест метод аналізу ієрархій висновок експертів таблиці рішень мережа таблиць рішень |
|
| Description |
A Computerized Adaptive Test proposes items according to the student's knowledge level. Therefore, the number of items, which are given to students, is reduced. Besides, the ending of such test is determined by the student's knowledge level, which allows an instructor to reduce testing time. As usual, construction of such tests is based on the Item Response Theory (IRT). This theory gives models which use statistical data about the student's knowledge level and difficulty of items. We do not have such statistics for new tests. In such cases, this paper proposes to estimate the complexity of items on the basis of the experts' conclusions. These conclusions are based on the analytic hierarchy process (AHP) which was modified. The modification allows experts to estimate the complexity of items with the help of the collection of the items characteristics. This modification can remove the expert's inadequate estimates of items or their characteristics. This method allows experts to classify all items in clusters according to their complexity in the first stage of the testing when statistics of items use is absent. A test constructor, on the basis of a decision tables network, realizes the algorithm of the items' selection from different clusters. In the future, tutors will have tested a sufficient number of students' groups. They record statistics of the test using. A test constructor receives such statistics, which will allow them to use the models of the Item Response Theory for estimation of the test items' complexity. The assessment of the knowledge level of students is made with the help of an adaptive test, which is based on a network of decision tables. This network determines the algorithm of using items from different clusters for the testing. The adaptive test is built on the basis of the network of decision tables as a computer system. This system is constructed on the Java platform with the help of the programming environment Android Studio. It has the interface suitable for students as well as for a constructor, which allows the constructor to change the algorithm of using items if received statistics of items use shows such necessity.
Компьютерный адаптивный тест предлагает задания в соответствии с уровнем знаний студента. Поэтому количество заданий, которые предоставляются студентам для тестирования, уменьшается. Кроме того, окончание такого теста определяется уровнем знаний студента, что позволяет инструктору сократить время тестирования. Обычно построение таких тестов основано на теории педагогических измерений (Item Response Theory - IRT). Эта теория предлагает модели, в которых используются статистические данные об уровне знаний студента и сложности заданий. Для новых тестов такой статистики нет. В таких случаях в работе предлагается оценить сложность заданий на основе выводов экспертов. Эти выводы основаны на методе анализа иерархий (Analytic Hierarchy Process - AHP), который был модифицирован. Эта модификация поможет устранить некорректные оценки экспертами заданий и их характеристик. Метод AHP позволяет классифицировать все задания на кластеры в соответствии с их сложностью на первом этапе тестирования, когда статистика используемых заданий отсутствует. В будущем, когда будет протестировано множество студенческих групп, полученные статистические данные тестирования позволят использовать модели IRT-теории для уточнения оценки сложности тестовых заданий. Конструктор теста, на основе, предложенной в работе сети таблиц решений, формирует алгоритм выбора заданий для тестирования из разных кластеров сложности. Оценка уровня знаний студентов производится с помощью программно реализованного адаптивного теста, основанного на сети таблиц решений. Адаптивный тест как система поддержки принятия решений реализован на платформе Java с помощью среды программирования Android Studio. Он имеет удобный как для студента, так и для конструктора интерфейс, который позволяет конструктору изменять алгоритм использования заданий, если полученная статистика использования заданий теста в процессе тестирования покажет такую необходимость. Комп'ютерний адаптивний тест пропонує завдання відповідно до рівня знань студента. Тому кількість завдань, які надаються студентам для тестування, зменшується. Крім того, закінчення такого тесту визначається рівнем знань студента, що дозволяє інструкторові скоротити час тестування. Зазвичай побудова таких тестів заснована на теорії педагогічних вимірювань (Item Response Theory - IRT). Ця теорія пропонує моделі, у яких використовуються статистичні дані про рівень знань студента і складність завдань. Для нових тестів такої статистики немає. У таких випадках у роботі пропонується оцінити складність завдань на основі висновків експертів. Ці висновки засновані на методі аналізу ієрархій (Analytic Hierarchy Process - AHP), який був модифікований. Ця модифікація допоможе усунути некоректні оцінки експертами завдань і їх характеристик. Метод AHP дозволяє класифікувати всі завдання на кластери відповідно до їх складності на першому етапі тестування, коли статистика використання завдань відсутня. У майбутньому, коли буде протестовано велику кількість студентських груп, отримані статистичні дані тестування дозволять використовувати моделі IRT-теорії для уточнення оцінки складності тестових завдань. Конструктор тесту, на основі запропонованої в роботі мережі таблиць рішень, формує алгоритм вибору завдань для тестування з різних кластерів складності. Оцінка рівня знань студентів проводиться за допомогою програмно реалізованого адаптивного тесту, заснованого на мережі таблиць рішень. Адаптивний тест як система підтримки прийняття рішень реалізований на платформі Java за допомогою середовища програмування Android Studio. Він має зручний як для студента, так і для конструктора інтерфейс, який дозволяє конструкторові змінювати алгоритм використання завдань, якщо отримана статистика використання завдань тесту в процесі тестування покаже таку необхідність. |
|
| Publisher |
Institute of Information Technologies and Learning Tools of NAES of Ukraine
|
|
| Date |
2019-10-22
|
|
| Type |
info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion Peer-reviewed Article рецензируемая статья рецензована стаття |
|
| Format |
application/pdf
|
|
| Identifier |
https://journal.iitta.gov.ua/index.php/itlt/article/view/2520
10.33407/itlt.v73i5.2520 |
|
| Source |
Information Technologies and Learning Tools; Vol 73 No 5 (2019); 101-115
Информационные технологии и средства обучения; Том 73 № 5 (2019); 101-115 Інформаційні технології і засоби навчання; Том 73 № 5 (2019); 101-115 Інформаційні технології і засоби навчання; ##issue.vol## 73 ##issue.no## 5 (2019); 101-115 2076-8184 10.33407/itlt.v73i5 |
|
| Language |
ukr
|
|
| Relation |
https://journal.iitta.gov.ua/index.php/itlt/article/view/2520/1583
|
|