Презентація на тему:
Моделі і методи IRT

Авраменко Ольга Кіровоградський державний педагогічний університет ім. В.Винниченка Про зміст та завдання курсу «Моделі і методи IRT» TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Виникнення теорії моделювання і параметризації педагогічних тестів навіть малочутливі системи оцінок НЕ_МАЮТЬ сформованих СТАНДАРТІВ оцінювання; збільшення чутливості шкали - збільшення СУБ’ЄКТИВІЗМУ; заміна усної форми на письмову – великі ВИТРАТИ без зміни суті. процес оцінювання знань - процес ОБ'ЄКТИВНОГО вимірювання; результати вимірювань обробляються СТАНДАРТНИМИ математичними методами; ТЕСТ - вимірювальний ІНСТРУМЕНТ певної роздільної здатності і точності TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Мета викладання дисципліни «Моделі і методи IRT»: Забезпечення теоретичної підготовки фахівців системи вищої та середньої освіти, які навчаються за напрямом «Специфічні категорії» на спеціальності 8.180122 «Освітні вимірювання» TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Зміст навчальної програми ЗМІСТОВИЙ Модуль I Вступ до IRT 1.1 Основні поняття і термінологія 1.2 Оцінювання латентних параметрів та точності параметризації  ЗМІСТОВИЙ Модуль II Основні математичні моделі та методи сучасної теорії тестування в освіті 2.1 Статистична перевірка гіпотез тестування 2.2 Елементи регресії і кореляції в ОВ 2.3 Теоретичні основи шкалювання результатів тестування TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

1.1 Основні поняття і термінологія Латентні параметри складності завдання і рівня підготовленості учасника тестування. Логістичні моделі Раша і Бірнбаума. Матриця відповідей. Первинні бали. Достатня статистика. Редукція матриці відповідей. Тестування відносне і абсолютне. TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Модель Раша Однопараметрична модель функції успіху s - рівень підготовленості учасника тестування, t – складність тестового завдання, p – імовірність вірного виконання завдання. Нові змінні Характеристичні функції рівня підготовки та рівня складності TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Дво- та трипараметричні моделі Бірнбаума Двопараметрична модель d- дискримінаційна здатність Трипараметрична модель с – імовірність відгадування TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Матриця відповідей. Первинні бали. Учасників тестування п (і = 1,...,п) з підготовкою Тестових завдань k (j = 1,…,k) зі складністю Матриця відповідей п х k (в.в. незалежні) Імовірність вірної відповіді і -го учасника на j-те завдання Первинні бали: учасників завдань (мають узагальнений біноміальний розподіл) TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Недоліки первинних балів Первинні бали є поняттями ВІДНОСНИМИ, але не абсолютними Первинні бали є величинами НЕЛІНІЙНИМИ При заміні ймовірностей , j = 1,..., k їх середнім значенням - дисперсія первинного бала досягає свого максимуму: Відхилення складності завдань тесту від їх середнього рівня зменшують величину випадкових коливань первинного бала і, відповідно, зменшують розподіл можливих оцінок відповідних рівнів підготовленості учасників. Чим однорідніший за рівнем підготовленості склад учасників тестування, тим більший розподіл оцінок рівня складності завдань слід чекати. TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

1.2 Оцінювання латентних параметрів та точності параметризації Оцінки латентних параметрів. Осереднювання значень функції вимірювання. Оцінювання латентних параметрів методом моментів та методом найбільшої правдоподібності. Інформаційна функція окремого завдання тесту. Інформаційна функція тесту для одно- та багатопараметричних моделей. Точність початкових вимірювань. Роздільна здатність тесту. Надійність та валідність тесту. TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Роздільна здатність тесту Роздільна здатність тесту (РЗТ) – це відстань θ на латентній шкалі рівня підготовки в логітах, яка відповідає кроку Різні значення і тест не може розрізнити, якщо РЗТ РЗТ визначає поріг чутливості тесту. Оцінка РЗТ апріорі На практиці або TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Надійність тесту Тест повинен давати стійкі результати при повторному використанні його варіантів. Істинний бал b*; помилка ∆; реальний результат Кількісна міра надійності - коефіцієнт надійності , що визначає долю дисперсії "істинного" балу в загальній дисперсії Надійність – це міра ефективності оцінок тесту TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Визначення коефіцієнта надійності Загальна сума квадратів відхилень від середнього розсіяння між темами розсіяння між учасниками тестування залишкова сума квадратів, характеризує внутрішнє розсіяння де , - бал і-му учаснику за j-те завдання Оцінки дисперсій Якщо усі завдання однакові, то коефіцієнт надійності Якщо різним учасникам запропоновано різні завдання, то дисперсія є мірою додаткового збурення, тоді коефіцієнт надійності Метод Рюлона, Кьюдера-Ричардсона, коефіцієнт альфа Кронбаха. TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Валідність тесту Валідність тесту за змістом - завдання тесту в потрібній пропорції повністю охоплюють усі основні аспекти області знання (абсолютне тестування) Валідність критерійна - зіставлення результатів тестування з незалежним та об'єктивним критерієм (відносне тестування). Кількісною мірою валідності є коефіцієнт кореляції між показниками тесту і критерійною мірою. Валідність - це міра незміщеності оцінок тесту. TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

2.1 Статистична перевірка гіпотез тестування Перевірка адекватності моделі Раша за допомогою критерію згоди "Хі-квадрат" Пірсона: аналіз основної моделі, аналіз матриці відповідей. Порівняння емпіричної і теоретичної імовірності успіху. Перевірка рівномірності розподілу дистракторів. Перевірка значущості розбіжності різних результатів тестування на метричній шкалі та на порядковій шкалі. Перевірка паралельності варіантів тесту. Огляд непараметричних критеріїв аналізу однорідності вибірок, пов'язаних з порядковими шкалами. TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

2.2 Елементи аналізу регресії і кореляції Регресія і кореляція на метричній шкалі. Аналіз значущості лінійної кореляції. Кореляція на порядковій і номінальній шкалах. Кореляція бісеріальна. Кореляція дихотомна. Таблиця зв'язаних ознак. TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

2.3 Теоретичні основи шкалювання результатів тестування Порядкові шкали. Метричні шкали. Перенесення латентних параметрів, одержаних у паралельних варіантах тесту, на єдину метричну шкалу. Перетворення єдиної метричної шкали в нормовану. Остаточний бал учасників тестування. Підвищення диференціації учасників тестування. Характеристична функція тесту. Порівняння тестів при конструюванні. Вирівнювання різних варіантів тесту на єдиній метричній шкалі у процесі математичної обробки результатів TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Попередні навчальні курси «Вища математика», «Теорія ймовірностей та математична статистика», «Педагогіка», «Психологія», «Класичні тестові моделі», «Математично-статистичні методи в освітніх вимірюваннях» TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards

Різні форми викладання курсу Магістрантам ОВ (випускникам фізико-математичного факультету) доцільно додати у навчальний план спецкурс з IRT для поглибленого вивчення окремих моделей. Магістрантам ОВ (випускникам гуманітарних спеціальностей) курс “Моделі та методи IRT” доцільно викладати у значно спрощеній формі (“Основи IRT”). Курс “Моделі та методи IRT” може бути введеним до вибіркової частини навчального плану спеціальності Статистика. TEMPUS PROJECT 145029-TEMPUS-2008-SE-JPCR Educational Measurements Adapted to EU Standards