AUTOMATIC SCORING OF KNOWLEDGE GAINED AND SHARED THROUGH DISCUSSION FORUMS: BASED ON THE COMMUNITY OF INQUIRY MODEL
Інформаційні технології і засоби навчання
View Archive Info| Field | Value | |
| Title |
AUTOMATIC SCORING OF KNOWLEDGE GAINED AND SHARED THROUGH DISCUSSION FORUMS: BASED ON THE COMMUNITY OF INQUIRY MODEL
АВТОМАТИЧНЕ ОЦІНЮВАННЯ ЗНАНЬ, НАБУТИХ ТА ПОШИРЕНИХ ЗАСОБАМИ ДИСКУСІЙНИХ ФОРУМІВ НА ОСНОВІ МОДЕЛІ ЗАПИТІВ СПІЛЬНОТИ |
|
| Creator |
P.A.L. Nadeesha
T.A. Weerasinghe W.R.N.S Abeyweera П.А.Л. Надіша Т.А. Вірасінгхе В.Р.Н.С. Абервіра |
|
| Subject |
Cognitive presence
Community of Inquiry Machine Learning Natural Language Processing Classification когнітивна присутність спільнота запитів машинне навчання обробка природної мови класифікація |
|
| Description |
The Community of Inquiry (CoI) framework has been widely employed for the past two decades to assess the knowledge gained and shared through online discussion forums. The cognitive presence component of the CoI framework helps identify the evidence of thoughtful knowledge reconstructions through meaning-making during inquiry-based learning. Identifying and scoring these cognitive presences is essential for assessing the students’ learning achievements through online discussion forums. Considering the difficulties associated with manual coding and identifying cognitive presences in discussion forums and the limitations in the existing techniques for auto-identifying and scoring cognitive presences, this research attempted to develop a more efficient tool to identify and score cognitive presences in online discussion forums. The research employed the constructive research approach. The methodology integrated Random Forest (RF) classification with TF-IDF feature extraction and Support Vector Machine (SVM) classification with Word2Vec embedding. A rule-based classifier, constructed upon indicator mappings, enriched the classification process. A weighted voting ensemble method was employed to combine the outputs of the individual classifiers. Our approach was trained and tested on two datasets comprising 781 messages containing 47,592 words. This ensemble method demonstrated notable efficacy, achieving a 69% accuracy rate in classification tasks. This highlights the robustness of the combined approach in enhancing classification performance. Furthermore, the study introduces a scoring model that calculates individual student scores based on post categories, enabling detailed evaluations of student engagement and participation. By assigning scores reflective of discussion contributions, this model advances comprehensive assessments of online learning interactions. Our work contributes to the ongoing conversation on leveraging machine learning for cognitive analysis in online learning environments, highlighting the importance of context-specific methodologies in advancing educational assessment practices.
Протягом останніх двох десятиліть концепція «Спільнота запитів» (СЗ) широко використовується для оцінювання знань, отриманих і поширених через дискусійні онлайн-форуми. Компонент когнітивної присутності в системі СЗ допомагає виявити докази вдумливої реконструкції знань через осмислення під час навчання, заснованого на дослідженні. Виявлення та оцінювання цієї когнітивної присутності має важливе значення для оцінювання навчальних досягнень учнів за допомогою онлайн-дискусійних форумів. Враховуючи труднощі, пов'язані з ручним кодуванням та ідентифікацією когнітивних присутностей на дискусійних форумах, а також обмеження в існуючих методах автоматичної ідентифікації та оцінювання когнітивних присутностей, у цьому дослідженні була зроблена спроба розробити більш ефективний інструмент для ідентифікації та оцінювання когнітивних присутностей на онлайн-дискусійних форумах. У дослідженні використовувався конструктивний підхід. Методологія поєднувала класифікацію методом випадкового лісу (Random Forest-RF) з вилученням ознак TF-IDF та класифікацію методом опорних векторів (Support Vector Machine-SVM) із вбудовуванням Word2Vec. Класифікатор на основі правил, побудований на основі відображень індикаторів, збагатив процес класифікації. Для об'єднання результатів окремих класифікаторів було використано ансамблевий метод зважених голосів. Наш підхід було протестовано на двох наборах даних, що складалися з 781 повідомлення, які містили 47 592 слова. Ансамблевий метод продемонстрував помітну ефективність, досягнувши 69% точності в задачах класифікації. Це свідчить про надійність комбінованого підходу в підвищенні ефективності класифікації. Крім того, у дослідженні представлено модель підрахунку балів, яка обчислює індивідуальні бали студентів на основі категорій дописів, що дає змогу детально оцінити залученість та участь студентів. Присвоюючи бали, що відображають внесок в обговорення, ця модель сприяє всебічному оцінюванню взаємодії в онлайн-навчанні. Наша робота є внеском у постійну дискусію про використання машинного навчання для когнітивного аналізу в середовищах онлайн-навчання, яка свідчить про важливість контекстно-специфічних методологій для розвитку практики освітнього оцінювання. |
|
| Publisher |
Institute for Digitalisation of Education of NAES of Ukraine
|
|
| Date |
2025-02-28
|
|
| Type |
info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion Peer-reviewed Article рецензируемая статья рецензована стаття |
|
| Format |
application/pdf
|
|
| Identifier |
https://journal.iitta.gov.ua/index.php/itlt/article/view/5912
10.33407/itlt.v105i1.5912 |
|
| Source |
Information Technologies and Learning Tools; Vol. 105 No. 1 (2025): ; 85-102
Інформаційні технології і засоби навчання; Том 105 № 1 (2025): ; 85-102 2076-8184 10.33407/itlt.v105i1 |
|
| Language |
eng
|
|
| Relation |
https://journal.iitta.gov.ua/index.php/itlt/article/view/5912/2353
|
|
| Rights |
Copyright (c) 2025 P.A.L. Nadeesha, T.A. Weerasinghe, W.R.N.S Abeyweera
https://creativecommons.org/licenses/by-nc-sa/4.0 |
|