X Код для використання на сайті:
Ширина px

Скопіюйте цей код і вставте його на свій сайт

X Для завантаження презентації, скористайтесь соціальною кнопкою для рекомендації сервісу SvitPPT Завантажити собі цю презентацію

Презентація на тему:
Методи та засоби автоматичної генерації тестових завдань різних форм

Завантажити презентацію

Методи та засоби автоматичної генерації тестових завдань різних форм

Завантажити презентацію

Презентація по слайдам:

Слайд 1

Методи та засоби автоматичної генерації тестових завдань різних форм 1 Тернопільський національний економічний університет Факультет комп’ютерних інформаційних технологій Мельник Андрій Миколайович Науковий керівник: к.ф-м.н., доцент Пасічник Роман Мирославович

Слайд 2

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 2 В умовах науково-технічного прогресу, розвитку нових технологій та підвищення ступеня інформатизації суспільства зростають вимоги до ефективності процесів навчання та перепідготовки кадрів. Використання традиційних методів навчання та контролю знань не може забезпечити підвищення ефективності навчального процесу, тому особливої актуальності набувають методи автоматизованого навчання і контролю знань Багато досліджень у галузі комп’ютерного контролю знань зосереджені на питаннях валідності і надійності тестів, питання формування самого банку завдань у більшості випадків залишається виключно прерогативою викладача . Такий підхід характеризується великими часовими та інтелектуальними затратами на створення завдань. Індивідуальний підхід до організації навчального процесу вимагає управління складністю тестових завдань Управління процесом навчання з метою мінімізації часу навчання для досягнення бажаного результату дозволяє ефективно використовувати ресурси навчальної системи Актуальність досліджень

Слайд 3

Представлення тестових завдань 3 Інформаційний зміст Форми тестових завдань Текстове наповнення Алгоритмічне наповнення Закриті Відкриті - Множинний вибір - Альтернативні (Так/Ні) Заповнення прогалин у тексті - Числове питання На встановлення відповідності - Завдання перестановки Завдання, які не мають варіантів відповідей

Слайд 4

Аналіз відомих підходів до автоматизації створення тестових завдань Підходи Понятійно-тезисна модель Параметризовані тести Застосування семантичних мереж 4

Слайд 5

Параметризовані тести Технологія – формуються шаблонні тестові завдання, які відрізняються певними параметрами, що генеруються автоматично. При якому значенні X, рівняння не матиме допустимих розв’язків Змінний Параметр Основа тесту 5

Слайд 6

Підхід на основі семантичних мереж Технологія – завдання тесту будується шляхом опущення однієї з ланок “тріади” (сутність_1-відношення-сутність_2) і постановкою запитання про відсутню ланку. Диференціальні рівняння описують… - зв'язок між невідомою функцією та її похідними; - рівняння; - залежність між змінними; сутності відношення Основа тесту Основа тесту альтернативи 6

Слайд 7

Вкажіть твердження, що стосується поняття Понятійно-тезисна модель Технологія – Центральною структурною ідеєю для формування тестових завдань є зв’язок “навчальний матеріал”—“тези”—“поняття”. Генерація тестів відбувається на основі створених тестових шаблонів. Навчальний матеріал Поняття Теза Основа тесту Альтернативи 7

Слайд 8

Основні функції мови Комунікативна Когнітивна Емоційна 8 Вибір основи формалізації навчального матеріалу Лінгвістична форма представлення знань

Слайд 9

Система когнітивних класів Пізнавальна функція (розв’язання проблем) Понятійний апарат (означення) 9 Опис проблеми (постановка задачі) Розв’язання проблеми (метод) Застосовність методів до проблеми Ідея методу Постановка задачі Специфіка проблеми Механізм реалізації методу Схема методу

Слайд 10

Інформаційна структура компонентів та зв’язків для текстових класів (1) (2) (3) , Текстове означення Початкова компонента твердження - текстове твердження визначеної структури; - зміст компоненти; - ідентифікатори елементів; - зв’язок, і тип зв’язку між компонентами; кількість тверджень конкретного семантичного об’єкта; кількість компонент і- го означення 10 - ідентифікатор когнітивного класу ; множина основних компонент тверджень семантичного об’єкта множина ідентифікаторів основних компонент

Слайд 11

Фрагмент контенту когнітивного класу “Означення” SQL— мова структурованих запитів, яка застосовується для взаємодії користувача з базами даних, формування запитів, оновлення і керування реляціними БД. Сам по собі SQL не є ні системою керування базами даних, ні окремим програмним продуктом. …… SELECT — оператор мови, який повертає рядки з однієї чи багатьох таблиць. Запит SELECT описує кінцеві дані, однак, не вказує, які саме операції слід виконати для отримання цих даних 11

Слайд 12

Інформаційна структура компонентів та зв’язків для алгоритмічних класів (4) , Схема методу - схема методу; - компонента схеми; - ідентифікатори елементів; - назва методу; 12 - ідентифікатор когнітивного класу ; - ідентифікатор обов’язковості; - лінгвістичний опис операцій ;

Слайд 13

Фрагмент контенту когнітивного класу “Схема методу” SELECT [предикат] { * | таблица.* | [таблица.]поле_1 [AS псевдоним_1] [, [таблица.]поле_2 [AS псевдоним_2] [, ...]]}     FROM выражение [, ...] [IN внешняя База Даних     [WHERE... ]     [GROUP BY... ]     [HAVING... ]     [ORDER BY... ]     [WITH OWNERACCESS OPTION] 13

Слайд 14

Загальна схема побудови тестових завдань Однорідні компоненти тверджень і зв’язки Навчальний матеріал Система когнітивних класів Тестові завдання 14 Методи генерації тестових завдань Параметри набору тестових завдань

Слайд 15

Формальне представлення згенерованих тестових завдань (8) (9) (10) Множина альтернатив Елементи альтернатив (5) (6) (7) Структура тесту Основа тесту (11) Узгодженість зв’язків Умова правильності 15

Слайд 16

Схема генерації тестового завдання 16

Слайд 17

Метод генерації тестового завдання множинного типу Вибрати розділ навчального матеріалу та семантичний клас. Вибрати екземпляр семантичного класу. Вибрати випадкову точку розриву, нехай її рівень - k. Зафіксувати основу тесту, першу вірну альтернативу, та тип зв’язку першої компоненти цієї альтернативи Вибираємо рівня k вибраного екземпляра, формуючи вірні альтернативи Вибираємо випадкові екземпляри класу в кількості , в яких присутній тип зв’язку . Вибираємо випадкову точку розриву по елементах із типом зв’язку . Якщо вибраний випадково екземпляр співпадає із екземпляром основи тесту, то рівень точки розриву не дорівнює k, що забезпечує формування невірних альтернатив. 17

Слайд 18

Приклади згенерованих тестових завдань Тип зв’язку Компоненти твердження Множинний вибір 18

Слайд 19

Вибрати розділ навчального матеріалу та семантичний клас. Вибрати екземпляр семантичного класу. Вибрати випадкову точку розриву, нехай її рівень - k. Зафіксувати першу частину основи тесту та тип зв’язку наступної компоненти Випадковим чином вибрати істинність другої частини основи тесту. Перша компонента другої частини основи тесту повинна мати узгоджений тип зв’язку. При її істинності вона вибирається із фіксованого екземпляра, а при хибності – з інших екземплярів. 19 На основі певного екземпляру формуємо випадкове твердження. Випадковим чином вибираємо компоненту, яку замінюємо прогалиною, а саму компоненту переносимо в множину альтернатив. Інші альтернативи вибираємо з компонент інших екземплярів класу того самого рівня, узгоджених по типу зв’язку. Модифікація алгоритму генерації тестового завдання альтернативного типу Особливості алгоритму генерації тестового завдання типу заповнення прогалин в тексті

Слайд 20

Приклади згенерованих тестових завдань Заповнення прогалин у тексті 20 На встановлення відповідності Альтернативні (Так/Ні)

Слайд 21

21 Відновлення послідовності Альтернативні (Так/Ні) Приклади згенерованих тестових завдань з алгоритмічним наповненням

Слайд 22

Автоматична генерація відкритих тестових завдань Інтерпретатор лінгвістичних компонент Система когнітивних класів Система тестових завдань Проблемні ситуації Вірний результат Результат студента Результат студента 22

Слайд 23

23 Метод генерації відкритого тесту

Слайд 24

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Адаптивно-структурний метод оцінки складності тестових завдань 24 (12) - основна частина тестового твердження ; - альтернативні специфікації тестового твердження ; - кількість альтернатив ; Оцінку складності альтернатив здійснимо на основі показника композиційної близькості (13) Експериментально встановлено також, що на складність ідентифікації альтернатив впливає її достовірність (автентичність) (14) - градація впливу близькості ;

Слайд 25

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Адаптивно-структурний метод оцінки складності тестових завдань 25 - оцінка сили впливу кількості заздалегідь невірних альтернатив на її складність ; - градація достовірності ; - кількість альтернатив ; (15) Адитивно-мультиплікативна модель складності твердження : (17) - показник, що характеризує негативне представлення основної частини тестового твердження ; (16) (18) (19)

Слайд 26

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Процедура ідентифікації моделі складності 26 (21) (20) (22) (24) (25) (23) де - відносна складність ; де - частота неправильних відповідей ; де - похибка ідентифікації ;

Слайд 27

По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Аналіз похибки та стійкості процедури ідентифікації функції складності 27 Апроксимація відносних частот функції складності (модельована відносна складність тесту (1), відносна частота помилок (2), відхилення прогнозованої складності від частоти (3)) Порівняння функції складності для різних експериментів (модель складності по повній виборці (1), модель складності по редукованій виборці (2), відхилення прогнозованої складності ) Інтервальна оцінка відхилення прогнозованої складності для різних варіантів вибірок склала [0.009 0.063]