Портал засновано за підтримки Донецького обласного благодійного Фонду сприяння освітнім інтелектуальним інвестиціям (свідоцтво про Держреєстрацію № 402, видане 04.11.2008 р. Головним управлінням юстиції у Донецькій області, свідоцтво про Держреєстрацію серія А00 № 729147, видане 11.11.2008 р. Слов'янським міськвиконкомом). Портал зареєстровано Держкомітетом з інформатизації України 16.10.2009 р. (лист № 1737/05-09) як електронний інформаційний ресурс.
УКР
РУС
 
Л. І. МОРСЬКА. МЕТОДИКА ЗДІЙСНЕННЯ ЗМІСТОВОЇ ВАЛІДИЗАЦІЇ ДИДАКТИЧНОГО ТЕСТУ
 
  Версия для печати

ВХІД             Реєстрація

ПЕДАГОГІЧНІ ВИДАННЯ / е-журнал «Педагогічна наука: історія, теорія, практика, тенденції розвитку» / Архів номерів / Випуск №1 [2009] / Л. І. Морська. Методика здійснення змістової валідизації дидактичного тесту

УДК 348.147

Л. І. Морська

МЕТОДИКА ЗДІЙСНЕННЯ ЗМІСТОВОЇ ВАЛІДИЗАЦІЇ ДИДАКТИЧНОГО ТЕСТУ

Анотація. У статті обґрунтовані базові методичні процедури валідизації змісту дидактичного тесту, у склад яких автором віднесено концептуальний, конструктний, курикулярний та психологічний компоненти.
Ключові слова: валідизація змісту дидактичного тесту, концептуальний, конструктний, курикулярний та психологічний компоненти.

Аннотация. В статье обоснованы базовые методические процедуры валидизации содержания дидактического теста, в состав которых автором отнесены концептуальный, конструктный, куррикулярный и психологический компоненты.
Ключевые слова: валидизация содержания дидактического теста, концептуальный, конструктивный, курикулярный и психологический компоненты.

Abstract. Basic methodological procedures of validization of the didactic test content have been verified in the article. They include conceptual, constructive, curricular and psychological components as defined by the author.
Keywords: validization content of didactic test, conceptual, constructive, curricular and psychological components.

Інтеграція нашої держави у міжнародне співтовариство вимагає зіставлення освітніх рівнів, узгодження принципів підготовки фахівців, оскільки рівень розвитку їхньої професійної компетентності є одним з основних показників, які визначають добробут населення. Тому першочерговим завданням нині є запровадження сучасних технологій навчання й оцінювання. Особлива увага до цієї проблеми зумовлена протиріччям між, з одного боку, появою приватних навчальних закладів, можливістю отримання освіти за кордоном, а з іншого – застарілістю наукових основ дидактики контролю, недосконалістю системи оцінювання освітніх досягнень студентів [4, с. 5]. Вибір засобів педагогічної діагностики базується на відповідних дидактичних принципах вимірювання результатів навчання. Лише підготовлений відповідним чином комплекс завдань діє змогу правильно оцінити рівень знань і вмінь суб’єктів навчання. Проте слід бути переконаним у тому, що такий комплекс здатний достовірно здійснити оцінювання навчальних досягнень студентів, а на його результати не впливатимуть певні зовнішні чи внутрішні чинники. Отже, особливої гостроти набуває питання якості методу вимірювання, вибір якого ґрунтується на певних критеріях. Найважливішими з них є валідність, об’єктивність, надійність і точність [3]. Тому метою статті є розкриття основних методичних процедур змістової валідизації дидактичних тестів як одного з базових критеріїв визначення якості тесту.

Термін „валідність” походить від англійського valid та означає обґрунтований, дійсний, придатний, той, що має силу. Найбільш вдале визначення валідності педагогічного тесту дав А. Анастазі. На його думку, валідність тесту – це поняття, яке визначає, що вимірює тест і наскільки якісно це здійснюється [1]. Поняття валідності використовується для загальної характеристики тесту щодо відповідності одержаних результатів меті та вимогам оцінювання. Якщо тест не є валідним, то це означає, що одержані результати не вимірюють те, що було визначено метою тестування. Наприклад, коли тест побудовано із завдань на розуміння матеріалу, а навчання було спрямоване лише на знання базової інформації тощо [4, с. 13].

З метою уникнення згаданих проблем після розробки дидактичного тесту (або у процесі його розробки) слід здійснити певні процедури його валідизації, де одним із найважливіших етапів є змістова валідизація, до якої науковці відносять концептуальну, конструктну, програмну (курикулярну), психологічну валідність [7, с. 71]. Сфера поширення змістової валідизації, на думку А. Анастазі [1, с. 130], це тести навчальних досягнень, критеріально-орієнтовані тести, спрямовані на оцінювання якості засвоєння матеріалу, сформованості навичок, тести для здійснення професійного відбору кадрів.

Попередньою умовою концептуальної розробки дидактичного тесту (після прийняття рішення про основні його характеристики, такі, як тип тесту, призначення для певного контингенту тестованих, коло діагностичних завдань, що вирішуватимуться за допомогою тесту, особливості збору та обробки даних тощо) є чіткий опис його концептуальної (іншими словами теоретичної) моделі в операційних поняттях. Доцільно подавати її у вигляді структурно-логічної схеми, таблиці чи іншим графічним способом. До такої моделі слід віднести посилання на науковий напрям і провідних фахівців, ідеї, гіпотези та висновки, що лежать в основі проектованого тесту. Згадана інформація буде визначати основні цінності та технологічні орієнтації розробника, служитиме основою для оцінки експертами концептуальної валідності, яка повинна характеризувати ступінь відповідності змісту, структури і термінології, що використовується у тесті, до теоретичних концепцій (ідей, закономірностей, принципів, які діагностуються дидактичним тестом і повинні бути відображені у ньому). При розробці нового тесту аналіз разом із подальшим забезпеченням концептуальної валідності (шляхом внесення корективів) дає можливість привести тест у відповідність із концепцією предмету, підручника чи навчальної програми, а експертиза розробленого та адаптованого тесту вирішує питання про доцільність його використання [5].

Кількісні методи при описі концептуальної валідності тесту, як правило, не використовуються, оскільки вона будується виключно на дидактичному та логіко-психологічному аналізі завдань, що базується на результатах специфікації, курикулярної та конструктної валідності. Проте, як зазначають учені, експертні оцінки прояву ознак певних концепцій, виражені в балах у формі ранжувальної шкали, не є винятком [7, с. 76]. Можливості використання математично-статистичних методів для характеристики концептуальної валідності поки що не доведені, тому для цієї характеристики тесту пропонуємо складати перелік відхилень тесту від типової (навчальної) програми, від конструкту підручника з вказівкою рекомендацій щодо вдосконалення та довершеності тесту.
Конструктна валідність дидактичного тесту – це відображення в ньому теоретичної моделі курсу, його структурних пропорцій та основних компонентів на всіх рівнях. Основу для здійснення такої валідності забезпечує курикулярна валідність, яка показує, чи відображені в тесті відповідні навчальні елементи, необхідні з точки зору повноти контролю знань [6, с. 46].

Щодо логічної структури навчального матеріалу, то ми маємо на увазі не лише сукупність елементів знань, що діагностуються, але й їхню певну послідовність, ієрархію поряд зі складною системою сурядних та підрядних взаємозв’язків. Як свідчить досвід розробників тестів, на базі здійсненої курикулярної валідизації тесту легше і швидше проводити його конструктну валідизацію. Проте, можливим є і зворотний шлях, коли на стадії розробки тесту простіше визначити структуру тесту, питому вагу кожного відносно самостійного блоку завдань, а вже пізніше підбирати й формулювати їх [7, с. 79]. Таким чином, конструктну валідизацію тесту можна представити у формі такої процедури при розробці нового дидактичного тесту: 1) у графічній формі пропонується структура знань і вмінь у вигляді структурно-логічної схеми з ієрархічними та координаційними зв’язками; 2) відповідно до зазначеної вище схеми з наявного набору завдань будується адекватна їй модель тесту.

Конструктна валідність характеризує тест із точки зору того, які ієрархічні елементи моделі знань, умінь і навичок, які діагностують, у більшій чи в меншій мірі відображені у структурі тесту, а які упущені. Вона дає змогу визначити, чи може тест адекватно діагностувати ступінь засвоєння кожного зі структурних розділів програми. Для встановлення конструктної валідності тесту використовують метод внутрішньої узгодженості [1], суть якого полягає в тому, що результати виконання студентом частин тесту порівнюються з його результатами виконання повного тесту. Особливо важливим такий тип валідизації є для тестів підсумкового контролю знань зі структурно складних навчальних дисциплін (наприклад, фізика, географія), де один розділ програми функціонально слабко пов’язаний з наступними (наприклад, механіка і оптика у фізиці; розділи „Прикметник” та „Дієслово” в англійській мові тощо). Критерієм у цьому випадку є сумарний показник тесту, який уможливлює відбір до тесту лише тих завдань, які мають значну кореляцію з тестом у цілому, а про завдання говорять, що вони володіють внутрішньою узгодженістю [8].

Термін „курикулярна валідність” запропонований європейською педагогічною діагностикою [9]. У російських та українських наукових публікаціях зустрічається програмна валідність як еквівалент курикулярної (від англ. curriculum – навчальна програма, план). У контексті інтеграції України у світовий освітній простір цей термін, на нашу думку, як інтернаціональний варіант краще відповідає ідеї уніфікації та стандартизації освітньої термінології у сфері тестології. Вирішуючи проблему змістової валідизації, розробник тесту повинен попередньо об’єктивно (наскільки це можливо) оцінити ті програми, на які орієнтований тест. При цьому слід пам’ятати, що офіційно опубліковані навчальні програми, що пройшли наукову рецензію, можуть бути певною мірою недосконалими, оскільки будувалися під конкретну дидактичну чи предметну (досить часто авторську) концепцію, а тому не можуть відображати адекватно весь спектр наукових позицій. На думку А. Анастазі [1, с. 127], при визначенні курикулярної валідності для підготовки тесту необхідно здійснити певну систематизовану перевірку основних підручників і навчальних програм. Не є виключним і консультування з провідними фахівцями певної предметної галузі. На основі цього складають специфікацію тесту у вигляді таблиці, де вказують тему, завдання навчання та відносне значення кожної теми і питання, і лише після цього встановлюють доцільну кількість завдань.

З цього приводу вважаємо за доцільне зазначити, що згадана вище процедура певним чином ігнорує сучасні тенденції нової парадигми гуманітарної педагогіки, концепції розвивального та особистісно-орієнтованого навчання, інформатизації навчального процесу, що зумовлює певний відхід від накопичених знань як результату навчання до компетенцій. Тому, плануючи процедуру курикулярної валідизації, слід враховувати орієнтування навчального матеріалу на формування навчальних і життєвих компетенцій у студента. Відповідно пропонуємо розглядати згаданий аспект змістової валідності у формулюванні курикулярно-компетентнісна валідність, що забезпечить відповідність компонентів валідизації дидактичного тесту до провідних положень компетентісного підходу як одного з фундаментальних у сучасній методології освіти. Визначення подальших методичних процедур валідизації цього компоненту дидактичного тесту потребує наукового обґрунтування, що стане предметом дослідження у наших майбутніх наукових публікаціях.

При розробці чи експертній оцінці завдань дидактичного тесту доцільно ставити питання про те, в якій мірі тест може діагностувати вияв тих психічних і психологічних якостей тестованого, які є об’єктивно необхідними для виконання певних інтелектуальних операцій у ході вирішення тестових завдань. У цьому випадку говорять про психологічну валідність тесту. Наші спостереження та вивчення опублікованих дидактичних тестів свідчать, що вони найчастіше орієнтовані на репродукцію набутих знань, тобто перевіряють не глибину засвоєння знань, а міцність пам’яті. Метою психологічної валідизації тесту є виявлення його можливостей (через підбір і зміст тестових завдань) діагностувати наявність у студента, що виконує тестові завдання, необхідних інтелектуальних умінь і навичок, які характеризують його здатність самостійно мислити, знаходити рішення у проблемних ситуаціях, які відрізняються від типових навчальних ситуацій. Змістову валідність дидактичного тесту слід розмежовувати з очевидною валідністю, яка демонструє те, наскільки тест видається цінним для тестованого, офіційних осіб, що приймають рішення про доцільність його використання, та інших учасників діагностичного процесу, які не є фахівцями у галузі дидактичної тестології, оскільки очевидна валідність є бажаною якістю тесту. Якщо її немає, то у тестованого формується негативне ставлення, яке певним чином впливає на обставини тестування. Така валідність набуває особливої вагомості у тестуванні дорослих [6].

Отже, створення професійно розробленого дидактичного тесту доцільно починати з визначення концептуальної валідності, що демонструватиме вихідні методологічні та методичні орієнтири його розробників. Поряд зі згаданим видом валідизації чільне місце займають конструктна та курикулярна, які дають підстави зробити висновок про тест як адекватний діагностичний інструмент. Більше того, латентним (прихованим) видом валідності є психологічна, яка часто ігнорується при розробці дидактичного тесту, проте суттєво впливає на його якість, а тому вимагає звернення на себе уваги розробників.

Література

  1. Анастази А. Психологическое тестирование [пер. с англ. в 2 кн.] . – Кн. 1. / А. Анастази. – М.: Педагогика, 1982. – 316 с.
  2. Беспалько В. П. Слагаемые педагогической технологии / В. П. Беспалько. – М.: Педагогика, 1989. – 192 с.
  3. Булах І. Є. Комп’ютерна діагностика навчальної успішності / І. Є. Булах. – К.: ЦМК МОЗ України, УДМУ, 1995. – 221 с.
  4. Булах І. Є., Мруга М. Р. Створюємо якісний тест: навч. посіб. / І. Є. Булах, М. Р. Мруга. – К.: Майстер-клас, 2006. – 160 с.
  5. Клайн П. Справочное руководство по конструированию тестов. Введение в психометрическое проектирование / П. Клайн. – Киев, 1994. – 238 с.
  6. Михалева Т. Г. Оценка учебных достижений / Т. Г. Михалева, В. А. Хлебников // Педагогическая диагностика. – 2002. – № 2. – С. 45–52.
  7. Нестеренко Н. Д. Система содержательной валидизации дидактических тестов в современной педагогике / Н. Д. Нестеренко. – Дисс. на соискание уч. степени канд. пед. наук: 13.00.01: Общая педагогика, история педагогики и образования. – 206 с.
  8. Общая психодиагностика. Учебное пособие. – М.: Изд-во МГУ, 1987. – 328 с.
  9. Hughes A. Testing for Language Teachers / A. Hughes. – Cambridge: CUP, 1992. – 172 p.
© Л. І. Морська, 2009.
Надійшла до редколегії 19.02.2009 р.
Рейтинг DVK WebDev разработка сайта: «DVK WebDev»