Анотація до роботи:

Дьоміна В.М. Методи та моделі оцінювання знань в автоматизованих системах тестування. – Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 – автоматизовані системи управління та прогресивні інформаційні технології, Харківський національний університет радіоелектроніки, Харків, 2002.

У дисертаційній роботі запропоновано підхід до побудови математичного забезпечення автоматизованої системи тестування, в основу якого покладено логіко-алгебраїчні методи та моделі оцінювання знань, що моделюють логіку викладача при виставленні оцінки. Подані методи дозволяють оцінювати знання респондента, коригувати оцінку в помежовій області між близькими балами, а також запобігати угадуванню респондентом відповідей на запитання тесту. Це дозволяє підвищити точність виміру знань і покращити якість підготовки фахівців особливо при дистанційній освіті.

У роботі наведено метод оцінки впливу суб‘єктивних факторів на якість вимірювання знань. Також доведено гіпотезу про невелику розбіжність результатів оцінювання у викладачів-експертів та автоматизованої системи тестування.

На базі проведеного аналізу існуючих методів і моделей оцінювання знань в автоматизованих системах тестування в дисертації запропоновано нове рішення наукової задачі розробки математичних методів і моделей оцінювання знань респондентів в автоматизованих системах тестування. У результаті вирішення даної задачі підвищиться якість контролю знань, а отже і якість підготовки фахівців в Україні.

Проведені дослідження дозволяють зробити такі висновки.

1. У роботі теоретично систематизовано й узагальнено принципи і математичні моделі побудови існуючих автоматизованих систем тестування. Проведено аналіз методів і моделей оцінювання знань в автоматизованих системах тестування.

2. Розроблено логіко-алгебраїчні методи і моделі оцінювання знань, які є основою математичного забезпечення автоматизованої системи тестування і дозволяють формалізувати процес оцінювання знань викладачем. Розроблено теоретичні підходи до формалізації процесу оцінювання знань респондента викладачем. Запропоновано застосовувати алгебру кінцевих предикатів для формалізації логіки викладача при вимірі знань. Розроблено метод коригування оцінки в помежовій області між близькими балами. Розроблені методи та математичні моделі оцінювання знань для традиційної п'ятибальної системи поширено для диференційованої R-бальної шкали. Розроблено метод запобігання угадуванню респондентом відповідей на запитання тесту, що заснований на теорії графів.

3. Розроблено метод оцінки впливу суб'єктивних факторів на якість оцінювання знань. Застосовано правило складання (розкладання) варіації до сукупності оцінок, отриманих при автоматизованому тестуванні та у викладачів-експертів. Таку вибірку зроблено за ознакою впливу суб’єктивних факторів на оцінку. Методи та математичні моделі оцінювання знань, що використовуються в автоматизованій системі тестування, дозволяють значно знизити вплив суб‘єктивних факторів, які домінують при традиційній формі контролю знань.

4. Доведено гіпотезу про невелику розбіжність результатів оцінювання знань респондентів у викладачів-експертів і автоматизованої системи тестування з використанням l-критерію Колмогорова. Для цього одержані статистичні ряди груп різних форм контролю знань респондентів. Проведено порівняння інтегральних частот оцінок, що виставлені викладачами-експертами, з одного боку, і автоматизованої системи тестування з іншого. Одержано малі похибки при апробації розроблених методів і математичних моделей.

5. Проведено дослідження процесу формування тестових завдань, які представлені у вигляді бази даних. Обчислено валідність завдань тесту і коефіцієнт надійності, які показують, що питання тесту можуть з високим ступенем точності виявляти випробуваних з різним рівнем отриманих знань і база даних тестових завдань може бути застосована для оцінювання знань в автоматизованій системі тестування.

6. На базі розроблених у роботі математичних методів і моделей оцінювання знань респондента запропоновано цілісну технологію формалізації логіки викладача; розроблено алгоритм і відповідні програмні засоби автоматизованої системи «Тест».

7. Автоматизована система «Тест» випробувана в цілому ряді вищих навчальних закладів: у Харківському державному аграрному університеті, у Харківській державній академії культури, в Українській державній інженерно-педагогічній академії та у Національному аерокосмічному університеті ім. М.Є. Жуковського “ХАІ”. Застосування даної системи в автоматизації навчального процесу дозволить підвищити якість оцінювання знань не тільки при традиційній формі навчання у вищому навчальному закладі, але і при дистанційній освіті.

Публікації автора:

1. Асеев Г.Г., Ситников Д.Э., Демина В.М. Об одном логико-алгебраическом подходе к построению автоматизированных систем контроля знаний // Вестн. Харьк. гос. политехн. ун-та. Сер. Систем. анализ, управление и информ. технологии.– Х., 1999.– Вып. 51.– С. 193-198.

2. Ситников Д.Э., Демина В.М. Представление процесса формирования оценки знаний в виде логических уравнений с конечными предикатами // Вестн. Харьк. гос. политехн. ун-та. Сер. Систем. анализ, управление и информ. технологии.– Х., 2000.– Вып. 93.– С. 115-119.

3. Ситников Д.Э., Демина В.М. Логический подход к оцениванию знаний по R-балльной системе // Вестн. Харьк. гос. политехн. ун-та. Сер. Систем. анализ, управление и информ. технологии.– Х., 2000. – Вып. 125.– С. 41-45.

4. Ситников Д.Э., Дёмина В.М. Оценка эффективности автоматизированной контролирующей системы // АСУ и приборы автоматики. – Х., 2001.– Вып. 115.– С. 76-81.

5. Вакуленко В.М. Перевірка якості тестів для автоматизованого контролю знань // Зб. ст. аспірантів.– Х.: ХДІК, 1997.– С. 67-70.

6. Ситніков Д.Е., Асєєв Г.Г., Вакуленко В.М. Логічні засоби оцінювання знань студентів // Вісн. Харк. держ. акад. культури: Зб. наук. пр. – Х., 1999. – Вип. 1: Бібліотекознавство. Документознавство. Інформатика.– С. 176-181.

7. Відлагодження тестів для автоматизованого контролю знань / В.М. Вакуленко, О.М. Казюта, С.В. Мартинова, А.О. Вєтрова // Матеріали наук. конф. (квіт. 1995 р.) / ХДАУ.– Х., 1995.– С. 35-36.

8. Вакуленко В.М. Опыт создания тестов для автоматизированного контроля качества обучающихся информациологии // Проблеми оновлення вищ. бібл. та інформ. освіти: Анот. прогр. міжнар. семінару (м. Харків, 15-18 трав. 1995 р.).– Х., 1995.– С. 44.

9. Дёмина В.М., Ситников Д.Э. Оценивание знаний в автоматизированной контролирующей системе // Економіка, менеджмент, освіта в системі агропромисл. комплексу: Матеріали Всеукр. наук. конф. молодих учених-аграрників (Харків, 11-13 жовт. 2000 р.) / ХДАУ.– Х., 2000.– С. 141-145.

10. Дёмина В.М. Автоматизированный контроль знаний при традиционном и дистанционном обучении // Механізм господарювання і економічна динаміка в АПК: Матеріали міжнар. наук.-практ. конф., присв. 185-й річниці заснування ХДАУ ім В.В. Докучаєва. – Х., 2001. – С. 175-177. – (Вісн. ХДАУ. Сер. Економіка АПК і природокористування; № 9).