ТHЕ ENSURING OF RELIABILITY OF STUDENTS’ ASSESSMENT PROCEDURES DURING ONLINE LEARNING
Інформаційні технології і засоби навчання
View Archive Info| Field | Value | |
| Title |
ТHЕ ENSURING OF RELIABILITY OF STUDENTS’ ASSESSMENT PROCEDURES DURING ONLINE LEARNING
ЗАБЕЗПЕЧЕННЯ НАДІЙНОСТІ ПРОЦЕДУР ОЦІНЮВАННЯ ЗДОБУВАЧІВ В УМОВАХ ОНЛАЙН НАВЧАННЯ |
|
| Creator |
Pakki, Marianna S.
|
|
| Subject |
онлайн оцінювання
онлайн навчання онлайн освіта дистанційна освіта online assessment online evaluation online learning online education distance education |
|
| Description |
The author's analysis of scientific literature found out that researchers consider the high level of academic dishonesty among students (cheating and teamwork on tasks), as well as the difficulty of distance checking their learning outcomes and competencies to be the main problems of the online assessment. The author's survey conducted among teaching staff also supports these statements. In order to solve these problems, in the article it is considered the approach to ensuring the reliability of online assessment procedures, which includes methodological and organizational components. Within this approach, the author proposes (at the very beginning of evaluation procedures creation) to focus on the selection of those types of questions, due to which it is possible to prevent academic dishonesty of students and comprehensively check their preparation. The article describes the low-order «conventional» and «conceptual» types of questions. Features of questions «on recognition», «on recollection», and also «on integration and use» are considered as well. Recommendations for the use of different types of questions for the student online assessment according to Bloom`s taxonomy levels are formulated. In particular, it is proposed to use cases and situational tasks to assess the highest levels. The author`s survey showed a high level of teacher involvement in assessment procedures in online learning, which reduces their advantages over face-to-face evaluation. Therefore, among the organizational principles of online assessment, the author offers to choose assessment tools that allow using automated verification even for tasks with «high-order» types of questions. Emphasis is placed on the need to acquaint students beforehand with the online evaluation procedure, and to give preference to the «low-stakes assessment» approach. The article also describes the author's experience in using Google forms and the «Online Test Pad» platform.
Аннотация. Статья рассматривает проблемные стороны онлайн-оценивания студентов и содержит рекомендации по организации процедур онлайн-оценивания для получения валидных результатов. На основе анализа литературы установлено, что в условиях онлайн-обучения наиболее проблемными являются вопросы академической недобросовестности студентов (списывание) и сложности организации проверки достигнутых ими результатов обучения. Отмечено, что только при условии решения обеих из указанных проблем становится возможным получить надежные результаты оценивания. Акцентировано внимание на том, что обеспечение валидности результатов лежит именно в плоскости содержания контрольных вопросов. При условии правильного их конструирования становится возможным не только глубоко проверить достижение студентом программных результатов обучения, но также это делает невозможным и сам факт академической недобросовестности. Автор сравнивает эффективность наиболее популярных видов вопросов и их способность оценить подготовку студента. Выявлены основные недостатки низкопорядковых «общепринятых (conventional)» и «концептуальных (conceptual)» вопросов. Рассмотрена специфика вопросов «на узнавание», «на припоминание», а также «на интеграцию и использование». Сформулированы рекомендации по использованию различных типов вопросов во время онлайн-оценивания студентов в соответствии со всеми уровнями таксономии Блума. В частности, для оценки высоких уровней предложено использовать кейсы и ситуационные задачи. Среди организационных основ проведения онлайн-контроля, рассмотренных автором: заблаговременное ознакомление студентов с процедурой, создание «тестового» образца контроля, использование подхода «low-stakes assessments» с перманентной оценкой различных видов работ в течение семестра. Для проведения онлайн-оценивания рекомендуется использовать открытую платформу «Online Test Pad», которая за счет модульности и кастомизации позволяет учесть все потребности образовательного процесса. На підставі здійсненого автором аналізу наукового доробку встановлено, що дослідники основними проблемами онлайн оцінювання вважають високий рівень академічної недоброчесності здобувачів (списування та колективну роботу над завданнями), а також складність перевірки в дистанційному режимі досягнутих ними результатів навчання та сформованих компетентностей. На користь цих тверджень свідчить і проведене автором статті опитування науково-педагогічних працівників. Задля вирішення вказаних проблем у статті розглянуто підхід до забезпечення надійності процедур онлайн оцінювання здобувачів, який передбачає методичну та організаційну складові. У межах даного підходу автор пропонує на етапі розробки процедур оцінювання сконцентруватися на підборі тих типів питань, за рахунок яких вдасться унеможливити академічну недоброчесність здобувачів та різнобічно перевірити їх підготовку. У статті дана характеристика низькопорядкових «загальноприйнятих (conventional)» та «концептуальних (conceptual)» типів питань. Розглянуто особливості питань «на впізнавання», «на пригадування», а також «на інтеграцію та використання». Сформульовано рекомендації щодо використання різних типів питань під час онлайн оцінювання здобувачів відповідно до рівнів таксономії Блума. Зокрема для оцінювання найвищих рівнів запропоновано використовувати кейси та ситуаційні задачі. Проведене опитування показало високий рівень залучення викладачів до процедур оцінювання в умовах онлайн навчання, що зменшує їх переваги в порівнянні з очним контролем. Тому серед організаційних засад проведення онлайн контролю автор пропонує обирати інструменти для оцінювання, які дають змогу використовувати автоматизовану перевірку навіть для завдань з «високопорядковими» типами питань. Наголошено на потребі завчасного ознайомлення здобувачів з процедурою онлайн оцінювання, наданню переваги підходу «low-stakes assessment». Також у статті описано досвід автора з використання гугл-форм та платформи «Online Test Pad». |
|
| Publisher |
Institute for Digitalisation of Education of NAES of Ukraine
|
|
| Date |
2022-04-29
|
|
| Type |
info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion Peer-reviewed Article рецензируемая статья рецензована стаття |
|
| Format |
application/pdf
|
|
| Identifier |
https://journal.iitta.gov.ua/index.php/itlt/article/view/4476
10.33407/itlt.v88i2.4476 |
|
| Source |
Information Technologies and Learning Tools; Vol. 88 No. 2 (2022); 139-151
Информационные технологии и средства обучения; Том 88 № 2 (2022); 139-151 Інформаційні технології і засоби навчання; Том 88 № 2 (2022); 139-151 Інформаційні технології і засоби навчання; ##issue.vol## 88 ##issue.no## 2 (2022); 139-151 2076-8184 10.33407/itlt.v88i2 |
|
| Language |
ukr
|
|
| Relation |
https://journal.iitta.gov.ua/index.php/itlt/article/view/4476/2019
|
|
| Rights |
Copyright (c) 2022 маріанна Паккі
https://creativecommons.org/licenses/by-nc-sa/4.0 |
|