КОНФЕРЕНЦІЇ ВНТУ електронні наукові видання, 
Контроль і управління в складних системах (КУСС-2024)

Розмір шрифта: 
ОПТИМІЗАЦІЯ ПРОЦЕСУ ОЦІНЮВАННЯ ВІДКРИТИХ ВІДПОВІДЕЙ РЕСПОНДЕНТІВ ЗАСОБАМИ ШТУЧНОГО ІНТЕЛЕКТУ
Тетяна Вікторівна Грищук

Остання редакція: 2024-12-08

Анотація


Розглянуто особливості задачі оцінювання відповідей респондентів, основні типи відповідей на питання, наголошено на перевагах використання відкритих питань та розглянуто основні проблеми оцінювання відповідей на такі питання при великій кількості респондентів з урахуванням їх особливостей. В доповіді розглянуто різні методи подання словесної відповіді у векторному вигляді. Розглянуто різні метрики обчислення близькості між окремими відповідями та запропоновано метод обчислення відстані між відповідями респондентів на основі модифікованої відстані Жаккара. Запропонована відстань враховує близькість за n-грамами. Запропоновано математичну модель процесу оцінювання у вигляді задачі оптимізації, що полягає в пошуку мінімальної послідовності відповідей респондентів, яку потрібно оцінити експерту, щоб середня відстань неоцінених відповідей до оцінених відповідей не перевищувала порогового значення. Розроблено метод розв’язання задачі оптимізації з використанням методів штучного інтелекту, а саме методів кластеризації. Описано найкращий та найгірший випадки вхідних даних для задачі. Основна ідея запропонованого методу полягає у покроковій кластеризації неоцінених відповідей респондентів та виборі характеристичної відповіді з найбільшого кластера для ручного оцінювання експертом. Сформульовано поняття характеристичної відповіді респондента та розроблено метод її вибору на основі нормального закону розподілу відстаней у межах кластера. Запропоновано автоматично оцінювати неоцінені відповіді шляхом знаходження мінімальної відстані до оцінених відповідей. Наведено результати проведених експериментальних досліджень, що полягали у виборі набору даних, методу векторизації та методу кластеризації. Наведено порівняльні таблиці та графіки використання різних методів. Проведені дослідження емпірично довели адекватність розроблених математичних моделей та методів та їх незалежність від особливостей контексту запитань і відповідей та особливостей респондентів, таких як країна походження або проживання респондента, мова спілкування, персональних особливостей. Розроблені моделі та методи можуть використовуватись в системах дистанційного навчання в якості підтримки роботи викладача.

 

DOI: https://doi.org/10.31649/mccs2024.5-04


Ключові слова


оцінювання відкритих відповідей; обробка тексту; великі дані; кластеризація; відстань Жаккара

Посилання


[1] Burstein, J., Chodorow, M., Leacock, C. Automated Essay Evaluation: The Criterion® Online Writing Service. Lawrence Erlbaum Associates, 2004. 224 p. ISBN 978-0805846330.

 

[2] Shermis, M. D., Burstein, J. C. (Eds.). Automated Essay Scoring: A Cross-disciplinary Perspective. Routledge, 2013. 256 p. ISBN 978-0-415-89602-0.

 

[3] Manning, C. D., Raghavan, P., Schütze, H. Introduction to Information Retrieval. Cambridge: Cambridge University Press, 2008. 482 p. ISBN 978-0-521-86571-5.

 

[4] Tan, P.-N., Steinbach, M., Kumar, V. Introduction to Data Mining. Pearson, 2006. 769 p. ISBN 978-0-321-32136-7.

 

[5] Aggarwal, C. C., Reddy, C. K. (Eds.). Data Clustering: Algorithms and Applications. Chapman and Hall/CRC, 2014. 588 p. ISBN 978-1-4665-5821-2.

 

[6] Roy, D., Kanaan-Izquierdo, S., Ojha, A., & Srivastava, G. Machine Learning for Text. CRC Press, 2021. 320 p. ISBN 978-0367612497.

 

[7] Петренко, О. С., Коваленко, О. М. Методи машинного навчання в обробці природної мови: навчальний посібник. Київ: КНУ імені Тараса Шевченка, 2020. 240 с. ISBN 978-966-930.

 

[8] Іванов, М. П. Автоматизація обробки текстової інформації: моделі та методи. Львів: Видавництво Львівської політехніки, 2018. 300 с. ISBN 978-617-607.

 

[9] Müller, A. C., Guido, S. Introduction to Machine Learning with Python: A Guide for Data Scientists. O'Reilly Media, 2016. 394 p. ISBN 978-1-4493-6941-5.

 

[10] DigiKlausur. ASAG Dataset [Електронний ресурс] / DigiKlausur // GitHub. – Режим доступу: https://github.com/DigiKlausur/ASAG-Dataset. – Назва з екрану.