Teaching WebAR development with integrated machine learning: a methodology for immersive and intelligent educational experiences
Електронна бібліотека НАПН України
View Archive Info| Field | Value | |
| Relation |
https://lib.iitta.gov.ua/id/eprint/741781/
https://acnsci.org/journal/index.php/ed/article/view/660 10.55056/ed.660 |
|
| Title |
Teaching WebAR development with integrated machine learning: a methodology for immersive and intelligent educational experiences
Навчання розробці WebAR з інтегрованим машинним навчанням: методика для імерсивного та інтелектуального навчального досвіду |
|
| Creator |
Semerikov, Serhiy O.
Foki, Mykhailo V. Shepiliev, Dmytro S. Mintii, Mykhailo Mintii, I.S. Kuzminska, Olena |
|
| Subject |
004 Computer science and technology. Computing. Data processing
37.09 Organization of instruction |
|
| Description |
Augmented reality (AR) and machine learning (ML) are rapidly growing technologies with immense potential for transforming education. Web-based augmented reality (WebAR) provides a promising approach to delivering immersive learning experiences on mobile devices. Integrating machine learning models into WebAR applications can enable advanced interactive effects by responding to user actions, thus enhancing the educational content. However, there is a lack of effective methodologies to teach students WebAR development with integrated machine learning. This paper proposes a methodology with three main steps: (1) Integrating standard TensorFlow.js models like handpose into WebAR scenes for gestures and interactions; (2) Developing custom image classification models with Teachable Machine and exporting to TensorFlow.js; (3) Modifying WebAR applications to load and use exported custom models, displaying model outputs as augmented reality content. The proposed methodology is designed to incrementally introduce machine learning integration, build an understanding of model training and usage, and spark ideas for using machine learning to augment educational content. The methodology provides a starting point for further research into pedagogical frameworks, assessments, and empirical studies on teaching WebAR development with embedded intelligence.
Доповнена реальність (AR) і машинне навчання (ML) — це технології, що швидко розвиваються, і мають величезний потенціал для трансформації освіти. Веб-доповнена реальність (WebAR) забезпечує багатообіцяючий підхід до захоплюючого навчання на мобільних пристроях. Інтеграція моделей машинного навчання в додатки WebAR може увімкнути розширені інтерактивні ефекти, реагуючи на дії користувача, таким чином покращуючи навчальний контент. Однак бракує ефективних методик навчання студентів розробці WebAR з інтегрованим машинним навчанням. У цьому документі пропонується методика з трьох основних етапів: (1) Інтеграція стандартних моделей TensorFlow.js, таких як handpose, у сцени WebAR для жестів і взаємодії; (2) Розробка користувацьких моделей класифікації зображень за допомогою Teachable Machine та експорт до TensorFlow.js; (3) Модифікація додатків WebAR для завантаження та використання експортованих користувацьких моделей, відображення результатів моделей як вміст доповненої реальності. Запропонована методика розроблена для поступового запровадження інтеграції машинного навчання, формування розуміння навчання та використання моделі та зародження ідей щодо використання машинного навчання для розширення навчального контенту. Методологія є відправною точкою для подальших досліджень педагогічних рамок, оцінок та емпіричних досліджень навчання розробки WebAR із вбудованим інтелектом. |
|
| Publisher |
Academy of Cognitive and Natural Sciences
|
|
| Date |
2024
|
|
| Type |
Article
PeerReviewed |
|
| Format |
text
|
|
| Language |
uk
|
|
| Identifier |
https://lib.iitta.gov.ua/id/eprint/741781/1/ED_660_Semerikov_et_al.pdf
- Semerikov, Serhiy O. (orcid.org/0000-0003-0789-0272 <http://orcid.org/0000-0003-0789-0272>), Foki, Mykhailo V., Shepiliev, Dmytro S. (orcid.org/0000-0001-6913-8073 <http://orcid.org/0000-0001-6913-8073>), Mintii, Mykhailo (orcid.org/0000-0002-0488-5569 <http://orcid.org/0000-0002-0488-5569>), Mintii, I.S. (orcid.org/0000-0003-3586-4311 <http://orcid.org/0000-0003-3586-4311>) and Kuzminska, Olena (orcid.org/0000-0002-8849-9648 <http://orcid.org/0000-0002-8849-9648>) (2024) Teaching WebAR development with integrated machine learning: a methodology for immersive and intelligent educational experiences Educational Dimension (10). pp. 198-234. ISSN 2708-4604 10.55056/ed.660 |
|