Презентація на тему:
Методи та засоби автоматичної генерації тестових завдань різних форм

Методи та засоби автоматичної генерації тестових завдань різних форм 1 Тернопільський національний економічний університет Факультет комп’ютерних інформаційних технологій Мельник Андрій Миколайович Науковий керівник: к.ф-м.н., доцент Пасічник Роман Мирославович

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 2 В умовах науково-технічного прогресу, розвитку нових технологій та підвищення ступеня інформатизації суспільства зростають вимоги до ефективності процесів навчання та перепідготовки кадрів. Використання традиційних методів навчання та контролю знань не може забезпечити підвищення ефективності навчального процесу, тому особливої актуальності набувають методи автоматизованого навчання і контролю знань Багато досліджень у галузі комп’ютерного контролю знань зосереджені на питаннях валідності і надійності тестів, питання формування самого банку завдань у більшості випадків залишається виключно прерогативою викладача . Такий підхід характеризується великими часовими та інтелектуальними затратами на створення завдань. Індивідуальний підхід до організації навчального процесу вимагає управління складністю тестових завдань Управління процесом навчання з метою мінімізації часу навчання для досягнення бажаного результату дозволяє ефективно використовувати ресурси навчальної системи Актуальність досліджень

Представлення тестових завдань 3 Інформаційний зміст Форми тестових завдань Текстове наповнення Алгоритмічне наповнення Закриті Відкриті - Множинний вибір - Альтернативні (Так/Ні) Заповнення прогалин у тексті - Числове питання На встановлення відповідності - Завдання перестановки Завдання, які не мають варіантів відповідей

Аналіз відомих підходів до автоматизації створення тестових завдань Підходи Понятійно-тезисна модель Параметризовані тести Застосування семантичних мереж 4

Параметризовані тести Технологія – формуються шаблонні тестові завдання, які відрізняються певними параметрами, що генеруються автоматично. При якому значенні X, рівняння не матиме допустимих розв’язків Змінний Параметр Основа тесту 5

Підхід на основі семантичних мереж Технологія – завдання тесту будується шляхом опущення однієї з ланок “тріади” (сутність_1-відношення-сутність_2) і постановкою запитання про відсутню ланку. Диференціальні рівняння описують… - зв'язок між невідомою функцією та її похідними; - рівняння; - залежність між змінними; сутності відношення Основа тесту Основа тесту альтернативи 6

Вкажіть твердження, що стосується поняття Понятійно-тезисна модель Технологія – Центральною структурною ідеєю для формування тестових завдань є зв’язок “навчальний матеріал”—“тези”—“поняття”. Генерація тестів відбувається на основі створених тестових шаблонів. Навчальний матеріал Поняття Теза Основа тесту Альтернативи 7

Основні функції мови Комунікативна Когнітивна Емоційна 8 Вибір основи формалізації навчального матеріалу Лінгвістична форма представлення знань

Система когнітивних класів Пізнавальна функція (розв’язання проблем) Понятійний апарат (означення) 9 Опис проблеми (постановка задачі) Розв’язання проблеми (метод) Застосовність методів до проблеми Ідея методу Постановка задачі Специфіка проблеми Механізм реалізації методу Схема методу

Інформаційна структура компонентів та зв’язків для текстових класів (1) (2) (3) , Текстове означення Початкова компонента твердження - текстове твердження визначеної структури; - зміст компоненти; - ідентифікатори елементів; - зв’язок, і тип зв’язку між компонентами; кількість тверджень конкретного семантичного об’єкта; кількість компонент і- го означення 10 - ідентифікатор когнітивного класу ; множина основних компонент тверджень семантичного об’єкта множина ідентифікаторів основних компонент

Фрагмент контенту когнітивного класу “Означення” SQL— мова структурованих запитів, яка застосовується для взаємодії користувача з базами даних, формування запитів, оновлення і керування реляціними БД. Сам по собі SQL не є ні системою керування базами даних, ні окремим програмним продуктом. …… SELECT — оператор мови, який повертає рядки з однієї чи багатьох таблиць. Запит SELECT описує кінцеві дані, однак, не вказує, які саме операції слід виконати для отримання цих даних 11

Інформаційна структура компонентів та зв’язків для алгоритмічних класів (4) , Схема методу - схема методу; - компонента схеми; - ідентифікатори елементів; - назва методу; 12 - ідентифікатор когнітивного класу ; - ідентифікатор обов’язковості; - лінгвістичний опис операцій ;

Фрагмент контенту когнітивного класу “Схема методу” SELECT [предикат] { * | таблица.* | [таблица.]поле_1 [AS псевдоним_1] [, [таблица.]поле_2 [AS псевдоним_2] [, ...]]}     FROM выражение [, ...] [IN внешняя База Даних     [WHERE... ]     [GROUP BY... ]     [HAVING... ]     [ORDER BY... ]     [WITH OWNERACCESS OPTION] 13

Загальна схема побудови тестових завдань Однорідні компоненти тверджень і зв’язки Навчальний матеріал Система когнітивних класів Тестові завдання 14 Методи генерації тестових завдань Параметри набору тестових завдань

Формальне представлення згенерованих тестових завдань (8) (9) (10) Множина альтернатив Елементи альтернатив (5) (6) (7) Структура тесту Основа тесту (11) Узгодженість зв’язків Умова правильності 15

Схема генерації тестового завдання 16

Метод генерації тестового завдання множинного типу Вибрати розділ навчального матеріалу та семантичний клас. Вибрати екземпляр семантичного класу. Вибрати випадкову точку розриву, нехай її рівень - k. Зафіксувати основу тесту, першу вірну альтернативу, та тип зв’язку першої компоненти цієї альтернативи Вибираємо рівня k вибраного екземпляра, формуючи вірні альтернативи Вибираємо випадкові екземпляри класу в кількості , в яких присутній тип зв’язку . Вибираємо випадкову точку розриву по елементах із типом зв’язку . Якщо вибраний випадково екземпляр співпадає із екземпляром основи тесту, то рівень точки розриву не дорівнює k, що забезпечує формування невірних альтернатив. 17

Приклади згенерованих тестових завдань Тип зв’язку Компоненти твердження Множинний вибір 18

Вибрати розділ навчального матеріалу та семантичний клас. Вибрати екземпляр семантичного класу. Вибрати випадкову точку розриву, нехай її рівень - k. Зафіксувати першу частину основи тесту та тип зв’язку наступної компоненти Випадковим чином вибрати істинність другої частини основи тесту. Перша компонента другої частини основи тесту повинна мати узгоджений тип зв’язку. При її істинності вона вибирається із фіксованого екземпляра, а при хибності – з інших екземплярів. 19 На основі певного екземпляру формуємо випадкове твердження. Випадковим чином вибираємо компоненту, яку замінюємо прогалиною, а саму компоненту переносимо в множину альтернатив. Інші альтернативи вибираємо з компонент інших екземплярів класу того самого рівня, узгоджених по типу зв’язку. Модифікація алгоритму генерації тестового завдання альтернативного типу Особливості алгоритму генерації тестового завдання типу заповнення прогалин в тексті

Приклади згенерованих тестових завдань Заповнення прогалин у тексті 20 На встановлення відповідності Альтернативні (Так/Ні)

21 Відновлення послідовності Альтернативні (Так/Ні) Приклади згенерованих тестових завдань з алгоритмічним наповненням

Автоматична генерація відкритих тестових завдань Інтерпретатор лінгвістичних компонент Система когнітивних класів Система тестових завдань Проблемні ситуації Вірний результат Результат студента Результат студента 22

23 Метод генерації відкритого тесту

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Адаптивно-структурний метод оцінки складності тестових завдань 24 (12) - основна частина тестового твердження ; - альтернативні специфікації тестового твердження ; - кількість альтернатив ; Оцінку складності альтернатив здійснимо на основі показника композиційної близькості (13) Експериментально встановлено також, що на складність ідентифікації альтернатив впливає її достовірність (автентичність) (14) - градація впливу близькості ;

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Адаптивно-структурний метод оцінки складності тестових завдань 25 - оцінка сили впливу кількості заздалегідь невірних альтернатив на її складність ; - градація достовірності ; - кількість альтернатив ; (15) Адитивно-мультиплікативна модель складності твердження : (17) - показник, що характеризує негативне представлення основної частини тестового твердження ; (16) (18) (19)

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Процедура ідентифікації моделі складності 26 (21) (20) (22) (24) (25) (23) де - відносна складність ; де - частота неправильних відповідей ; де - похибка ідентифікації ;

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Аналіз похибки та стійкості процедури ідентифікації функції складності 27 Апроксимація відносних частот функції складності (модельована відносна складність тесту (1), відносна частота помилок (2), відхилення прогнозованої складності від частоти (3)) Порівняння функції складності для різних експериментів (модель складності по повній виборці (1), модель складності по редукованій виборці (2), відхилення прогнозованої складності ) Інтервальна оцінка відхилення прогнозованої складності для різних варіантів вибірок склала [0.009 0.063]

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Реалізація системи управління процесом навчання 28 Головне інформаційне вікно Формалізований конспект Опрацювання навчальних матеріалів

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Згенерований тест 29

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Висновки Запропоновано методи автоматичної генерації тестових завдань відкритого і закритого типів, яка в порівнянні з відомими дозволяє будувати тестові завдання з достатньою педагогічною цінністю, вимагає менших часових затрат при формалізації навчальних матеріалів, а обґрунтована структура когнітивних класів дозволяє уникати неправильних класифікаційних відношень. Запропоновано критерій та метод оцінки складності тестових завдань, який можливо ефективно застосовувати для автоматичної генерації тестових завдань заданої складності і вимагає вибірки менших розмірів при ідентифікації у порівнянні з відомими; Адаптивне управління структурою навчального процесу при автоматичній генерації тестів із врахуванням їх складності забезпечує суттєву економію часових затрат без втрати ефективності, яку дозволяє будувати покращені оперативні навчальні стратегії в межах локальних тем або модулів. Розроблені методики в комплексному рішенні дозволяють ефективно управляти процесом навчання. 30