Презентація на тему:
Труднiсть i дискримiнативнiсть

АНАЛІЗ РЕЗУЛЬТАТІВ РІШЕННЯ ЗАДАЧ В ВІДПОВІДНОСТІ З ЇХНЬОЮ ТРУДНІСТЮ І ДИСКРИМІНАТИВНІСТЮ

План лекції 1. Поняття про трудність задачі тесту. Суб’єктивна та об’єктивна трудність задач. 2. Місце задачі в тесті. Індекс трудності. 3. Дискримінативність задач тесту. 4. Коефіцієнт та індекс дискримінативності. 5. Відбір, корегування і перерозподіл задач в тесті.

Корисність кожної задачі для тесту встановлюється після рішення задач досліджуваними репрезентативної вибірки після першого використання нового тесту. Відповіді досліджуваних аналізуються на предмет встановлення трудності і дискримінативності кожної задачі, придатності кожного варіанту відповідей. При цьому робиться відбір і корегування задач, а також їхній перерозподіл всередині тесту.

ТРУДНІСТЬ ЗАДАЧІ Трудність - найважливіша характеристика задачі, яка визначає її місце в тесті. В психології виділяють суб’єктивно-психологічну і статистичну (об’єктивну) трудніть задачі. Суб’єктивна трудність задачі зв’язана з індивідуально-психологічним бар’єром, величина якого визначається: Умовами рішення задачі (часом, відведеним на рішення, зрозумілістю інструкції тощо); Рівнем формування необхідних для рішення знань, вмінь і навичок; Станом того, хто розв’язує задачі і іншими чинниками. Експериментатор намагається вирівняти вплив на досліджуваного цих чинників (за допомогою спрямованого комплектування вибірки, стандартної процедури проведення тестування).

В переважній більшості інтелектуальних тестів враховується тільки результативність (правильність) рішення задач і не звертається увага на процес: засіб рішення, характер ускладнень, енергетичні витрати досліджуваного. В зв’язку з цим при розробці тестів, як правило, застосовується статистична характеристика – об’єктивна трудність задачі. Об’єктивна трудність задачі, встановлена для репрезентативної вибірки, є об’єктивною характеристикою генеральної сукупності, з якої ця вибірка взята.

Трудність задачі визначається відсотком, (часткою) осіб вибірки, що вирішили і що не вирішили задачу. Наприклад: якщо тільки 20% досліджуваних вирішили задачу, її можна оцінити як важку для даної вибірки; якщо 80% - як легку. (При цьому нас не цікавить, чому той або інший досліджуваний не впорався з задачею, на якому етапі рішення він зупинився, важливо лише – дав він правильну відповідь в заданий час або ні).

Трудність задачі є відносною характеристикою, оскільки залежить від особливостей вибірки і може змінюватись від вибірки до вибірки. Так, для вибірки першокласників, задача: “Скільки буде 5 х 6” –важка, для старшокласників – легка, тому вказівка рівня трудності задачі повинна даватися з обов’язковою вказівкою контингенту осіб, для яких ця трудність встановлена (особливо – вік).

Трудність задачі є, в першу чергу, характеристикою інтелектуальних задач, для яких правомірно застосування поняття “правильна / невірна відповідь”. Для питань або задач, що входять в склад особистісних методик, поняття “трудність” застосовується умовно. Наприклад, на питання-твердження “Нещодавно я пережив нервове потрясіння” мало хто дасть позитивну відповідь, але це не значить, що дати цю відповідь в принципі важко. -1.

Місце задачі в тесті інтелекту визначається, в першу чергу, її статистичною трудністю – відсотком (часткою) досліджуваних, що вирішили її. Якщо задачу вирішує більшість досліджуваних, то її як легку, розташовують спочатку тесту; В тому випадку, коли задачу вирішує незначне число досліджуваних – то її як важку, розташовують в кінці тесту. (Тоді тест в робітничому вигляді являє собою “сходи” задач, що ускладнюються).

Основним показником трудності задачі є індекс трудності. Nп Іт = 100( 1 - ) , N де Іт – індекс трудності в відсотках; Nп – число досліджуваних, що вирішили задачу правильно; N – загальна кількість досліджуваних. Якщо для задач з наданими відповідями треба врахувати випадкові успішні рішення шляхом вгадування правильного варіанту, формула буде мати такий вигляд: Nн Nп – m-1 Іт = 100( 1 - ) , N де Nн – число досліджуваних, що не вирішили задачу; m – число варіантів відповідей.

Ящо уявити, що частоти розподілу оцінок досліджуваних, що вирішують задачі, підпорядковуються нормальному закону, то в межах середньої зони: М – σ < Х < М + σ знаходяться біля 68% усіх досліджуваних; за її межами – до 16% досліджуваних. - дані величини приймаються за порогові при відбору задач для первинної форми тесту. Отже, після розрахунку індексів трудності задач, в першу чергу виключаються задачі, які вирішали більше 84% досліджуваних (задачі легкі) і з якими не впорилися більше 84% досліджуваних (трудні задачі). .

Розподіл оцінок досліджуваних

На наступному етапі аналізу задач здійснюється більш диференційований розподіл досліджуваних, що вирішили і не вирішили кожну задачу. В якості критерію розподілу досліджуваних на групи виступає зовнішній критерій валідності – продуктивність досліджуваних в реальній діяльності. Всі, хто вирішив задачі, поділяються на групи в відповідності з цім критерієм.

На малюнку у вигляді кривих представлено залежність між успішністю рішення задач тесту та оцінками зовнішьої валідності (продуктивності в реальної діяльності). Задача 1 – практично не диференціює досліджу- ваних; Задача 2 – легка задача; Задача 3 – трудна задача; Задача 4 – найкраща; вона добре диференціює досліджуваних в відповід- ності з зовнішнім критерієм валідності.

ДИСКРИМІНАТИВНІСТЬ ЗАДАЧІ Спроможність задачі відділяти досліджуваних з високим загальним балом по тесту від тих, хто отримав низький бал, або досліджуваних з високою продуктивністю реальної навчальної (виробничої) діяльності від тих, у кого вона низька, називається дискримінативною (відмінністною) спроможністю або дискримінативністю задачі.

Для оцінки дискримінативності задачі використовують коефіцієнт дискримінавності і індекс дискримінативності. Коефіцієнт дискримінативності задач (KD) – це міра відповідності між успішністю рішення однієї задачі і всього тесту по вибірці досліджуваних.

KD є показником придатності задачі для тесту і показником “внутрішньої” валідності. Xn – X Nn r = σx N – Nn , де Х - середнє арифметичне значення всіх індивідуальних оцінок по тесту; Хn - середнє арифметичне значення оцінок по тесту у тих досліджуваних, які правильно вирішили задачу; σx – середньоквадратичне відхилення індивідуальних оцінок по тесту для вибірки; N – загальна кількість досліджуваних; Nn – кількість досліджуваних, що правильно вирішили задачу.

Але частіше трапляється так, що не всі досліджувані встигають вирішити всі задачі тесту. Тоді для підрахування коефіцієнту дискримінативності треба використовувати таку формулу: Xn – Xд Nn r = σxд Nд – Nn , де Xд - середнє арифметичне значення тих досліджуваних, які дали відповідь на задачу; σxд - середньоквадратичне відхилення індивідуальних оцінок по тесту тих досліджуваних, які дали відповідь на задачу; Nд – загальне число досліджуваних, які дали відповідь на задачу.

Коефіцієнт дискримінативності задачі може приймати значення від - 1 до + 1. Високий позитивний коефіцієнт дискримінативності є показником того, що задача добре поділяє тих досліджуваних, що отримали високі оцінки за рішення тесту від тих, хто отримав низькі оцінки. Високий негативний коефіцієнт дискримінативності свідчить про непридатність задачі для тесту. Випадки з близьконульовими коефіцієнтами повинні розглядатися особливо на предмет некоректного формулювання задачі або варіантів відповідей.

Індекс дискримінативності (ІD) є, по суті, показником її зовнішньої валідності, оскільки обчислюється по відношенню до зовнішнього критерію – оцінок продуктивності реальної діяльності досліджуваних (ефективності навчання, професійної продуктивності, академічної успішності, даних об’єктивних методик). ІD задачі обчислюється з застосуванням засобу крайніх груп. (Необхідною умовою для застосування цього засобу є наявність близького до нормального розподілу оцінок по критерію валідності).

Частота розподілу оцінок досліджуваних по ефективності навчання

Частка досліджуваних в крайніх групах може змінюватися в широких межах в залежності від величини вибірки. Чим більше вибірка, тим меншим відсотком досліджуваних можна обмежитися при виділенні верхньої і нижньої груп. Нижня межа “відділення” груп складає 10% і 10%, верхня - 33% і 33% від вибірки в кожній з груп. (Тобто, в крайніх групах можуть бути від 10% до 33% досліджуваних).

Індекс дискримінативності задачі обчислюється як різниця між часткою осіб, що правильно вирішили її з високопродуктивної (верхньої) і низькопродуктивної (нижньої) груп: Nn (верхн.) Nn (нижн.) ІD = Nверхн. Nнижн. , де Nn (верхн.); Nn (нижн.). – кількість досліджуваних, що правильно вирішили задачу в “верхній” і “нижній” групах. ІD приймає значення від -1 до +1.

Якщо всі досліджувані впоралися з задачею із “верхньої” групи, але ніхто із “нижньої”, то ІD = +1, якщо навпаки, то ІD = -1, якщо однаково, то ІD = 0. Якщо ІD = -1, то задача вважається непридатною. Якщо ІD = 0 – це некоректне формулювання задачі, тобто вона не дає розподіл досліджуваних на тих, хто погано і тих, хто гарно вирішує задачі.

ІD також пов’язаний з надійністю і рівнем трудності задач: Чим вищий ІD, тим більш надійним буде тест. Для більшості тестів краще вибирати задачі, рівень трудності яких близький до 0,5. Тоді, ІD, що приймає максимальне значення при такому рівні трудності часто використовується для відбору задач.

Відбір, корегування і перерозподіл задач в тесті Типові недоліки задач: ЗАЙВА СКЛАДНІСТЬ, ЗАПЛУТАНІСТЬ ФОРМУЛЮВАННЯ; НЕОДНОЗНАЧНІСТЬ УМОВИ; ОЧЕВИДНІСТЬ РІШЕННЯ; ЗАЛЕЖНІСТЬ РЕЗУЛЬТАТУ ВІД ПАМ ’ЯТІ АБО ВІД ІНШИХ ІНДИВІДУАЛЬНИХ ОСОБЛИВОСТЕЙ ДОСЛІДЖУВАНИХ, А НЕ ВІД РІВНЯ РОЗВИТКУ ТИХ ВМІНЬ І НАВИКІВ, ДЛЯ ОЦІНКИ ЯКИХ РОЗРОБЛЯЄТЬСЯ ТЕСТ; БЕЗГЛУЗДІСТЬ, НЕРЕАЛЬНІСТЬ ВАРІАНТІВ ВІДПОВІДЕЙ; ПРАВИЛЬНІСТЬ ДВОХ І БІЛЬШ ВІДПОВІДЕЙ.

Необхідно уважно підходити до складання вибірки досліджуваних у емпіричному дослідженні. Важливо враховувати стать, вік, соціальне положення, рівень освіти, стан здоров'я, індивідуально-психологічні особливості досліджуваних і інші параметри, які можуть зробити вплив на результати. Вибірка повинна моделювати генеральну сукупність, тобто бути репрезентативною по відношенню до всієї категорії людей, що вивчаються. Для цього вона повинна бути випадковою або спеціально підібраною так, щоб представляти основні типи досліджуваних, що існують в популяції. Висновки дослідження повинні розповсюджуватися на всіх членів групи людей, що вивчаються, а не тільки на представників цієї вибірки. Важливо забезпечити еквівалентність експериментальної і контрольної груп.

Чисельність вибірки досліджуваних повинна забезпечувати довідність положень, які захищаються в роботі. Залежно від цілей і можливостей вона може бути від одного досліджуваного до декількох тисяч осіб. Кількість досліджуваних в окремій групі (експериментальній або контрольній) варіює від 1 до 100. Виходячи з методів математичної обробки, рекомендується, щоб чисельність порівнюваних груп була не менш ніж 30-35 чоловік, оскільки при такій кількості досліджуваних коефіцієнти кореляції можуть бути значущими. Для діагностичних цілей обсяг вибірки від 100 до 200 осіб вважається в більшості випадків достатнім. Для обгрунтованого прогнозу успішності в навчанні, трудової діяльності, результатів навчання в проф. діяльності обсяг вибірки повинен бути якомога більшим, понад 200 осіб.

Якщо для обробки даних використовується факторний аналіз чинника, то існує просте правило: надійні рішення чинників можна отримати лише у тому випадку, коли кількість досліджуваних не менше чим в 3 рази перевищує число реєстрованих параметрів. Крім того, доцільне збільшення кількості досліджуваних принаймні на 5-10%, оскільки частина з них буде «відбракована» в ході дослідження (ті, що не зрозуміли інструкцію, порушили правила тестування, дали результати, що відхилялися від того, що потрібно).