Рассмотрим основные понятия и термины тестологии, которые нам потребуются в дальнейшем.
Для теории тестов, педагогических измерений, квалиметрии, можно выстроить следующую иерархическую структуру51:
Эта схема позволяет уяснить место и роль теории педагогических измерений в системе наук вообще и в педагогическом оценивании в частности.
Рассмотрим основные понятия и термины, необходимые для однозначного понимания дальнейших утверждений, суждений и выводов.
ИЗМЕРЕНИЕ — операция для определения отношения одной (измеряемой) величины к другой однородной величине, которая берётся за единицу. Получившееся значение будет численным значением измеряемой величины. Наука, предметом изучения которой являются все аспекты измерений, называется МЕТРОЛОГИЕЙ.
ПЕДАГОГИЧЕСКОЕ ИЗМЕРЕНИЕ - это процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда27.
Существует много определений ТЕСТА, довольно заметно отличающихся друг от друга. Приведем некоторые из них.
Согласно словарю ЕГЭ52, ТЕСТ - это измерительная процедура, включающая инструкцию и набор заданий, прошедшая широкую апробацию и стандартизацию.
Рубинштейн С.Л.53 дал следующее определение: ТЕСТ — это испытание, которое ставит своей целью градуирование, определение рангового места личности в группе или коллективе, установление её уровня.
Это определение сформулировано только с точки зрения достижения цели, не оговаривая, как эта цель достигается, а главное, не определяет тест как измерительный инструмент.
К.Ингенкамп3 - ТЕСТИРОВАНИЕ - это метод педагогической диагностики, с помощью которого выборка поведения, репрезентирующая предпосылки или результаты учебного процесса, должна максимально отвечать принципам сопоставимости, объективности, надежности и валидности измерений, должна пройти обработку и интерпретацию и быть готовой к использованию в педагогической практике.
В определении К.Ингенкампа рассматривается метод, а не средство педагогической диагностики и никак не характеризуются задания теста.
В.С.Аванесов определяет ПЕДАГОГИЧЕСКИЙ ТЕСТ как систему параллельных заданий равномерно возрастающей трудности, специфической формы, позволяющую качественно и эффективно измерить уровень и оценить структуру подготовленности учащихся.
В одной из последних работ54 В.С.Аванесов (2005) несколько смягчил формулировку:
ПЕДАГОГИЧЕСКИЙ ТЕСТ определяется как система параллельных заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых.
Сравнение обоих определений показывает, что произошло исключение требования равномерности возрастания трудности заданий. Обусловлено это тем, что обеспечить возрастание трудности заданий достаточно легко. Чтобы достичь этого составитель тестовых заданий ориентируется на различную сложность элементов предметной области. Для каждого элемента составляются задания и затем эмпирически проверяются, что действительно получены задания различной трудности. В самом тесте задания располагаются в порядке возрастания трудности.
Требование же равномерности возрастания трудности задания чрезвычайно сложно реализовать на практике. Хотя такой тест обеспечил бы линейную шкалу трудностей, что снизило бы ошибку измерения.
Исключение требования равномерности возрастания трудности задания заметно упрощает создание теста. Отметим, однако, что в этом случае, шкала трудностей получается нелинейной, с неравномерным покрытием заданного диапазона трудности заданий теста. Это, естественно, снижает точность педагогического теста как измерительного инструмента.
М.Б.Челышкова отмечает, что понятийный аппарат теории педагогических измерений еще полностью не сформирован. В частности не существует общепризнанного определения теста. Каждый исследователь отражает в определении теста свое видение проблемы педагогического тестирования.
Согласно М.Б.Челышковой итоговый НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ ТЕСТ – это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обеспечивающих информативность оценок уровня и качества подготовки испытуемых27. М.Б.Челышкова очень осторожно подходит к формулировке теста, намеренно ограничивая его сферу применения и тип. Приведенное определение вполне подходит для тестов, предназначенных для ранжирования испытуемых.
А.Н.Майоров приводит следующее определение теста, разработанное в 1997-1998 гг. группой авторов при разработке понятийного аппарата тестологии:
ТЕСТ – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качества и свойств личности, изменение которых возможно в процессе систематического обучения7.
В результате анализа приведенных определений теста мы склоняемся к выводу, что приемлемым может оказаться следующее определение:
ПЕДАГОГИЧЕСКИЙ ТЕСТ - это система тестовых заданий различной трудности, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых.
Это достаточно лаконичное и полное определение основано на определении В.С.Аванесова с некоторыми изменениями. Рассмотрим эти отличия.
1. Вместо слова «задание» использован термин «тестовое задание». Это позволило исключить требование «специфической формы», поскольку оно содержится в понятии «задание в тестовой форме» и, следовательно, в понятии «тестовое задание».
2. Исключено требование «параллельности» заданий. Это требование введено В.С.Аванесовым для повышения «живучести» теста, с тем, чтобы обеспечить возможность многократного использования теста, за счет варьирования в нем параллельных заданий. С этой точки зрения это вполне обоснованное требование. Однако, если мы определяем тест как таковой, отвлекаясь от привлекательной для практики его применения свойства «непотопляемости», то требование параллельности можно исключить.
3. Требование «возрастающей трудности» заменено требованием «различной трудности». Дело в том, что если мы располагаем тестовыми заданиями различной, известной трудности, то, формируя тест, легко можем расположить их в любом порядке, в частности, в порядке возрастания трудности.
Некоторые авторы предлагают размещать задания в порядке уменьшения трудности, аргументируя это оптимальным распределением умственного напряжения тестируемых во времени. К концу тестирования, когда испытуемые утомлены, целесообразно предъявлять им более легкие задания62.
Иногда предлагается дать возможность выбора задания самим испытуемым, которые будет соизмерять свои возможности с теми усилиями, которые им понадобятся при прохождении теста. Это позволит им показать наилучший результат.
При компьютерном тестировании зачастую используется случайный порядок предъявления заданий, при этом сам тест формируется «на лету». Тестовые задания автоматически извлекаются из банка заданий в соответствии с той или иной процедурой, заданной разработчиком теста45. Если порядок предъявления одинаков для всех испытуемых, то, находясь в одном компьютерном классе, за соседними компьютерами, они могли бы подглядывать за ответами других испытуемых. При случайном порядке предъявления заданий уменьшается вероятность подобного нарушения процедуры тестирования.
Все вышеприведенные доводы представляются обоснованными, но для окончательного вывода требуется убедительная экспериментальная проверка их справедливости.
Во всех приведенных определениях фигурирует понятие тестового задания, которое в свою очередь, требует определения.
Создание тестового задания - это трудоемкий процесс, включающий создание некоторой заготовки тестового задания и собственно тестового задания. Приведем определения этих типов заданий.
М.Челышкова различает предтестовые и тестовые задания.
ПРЕДТЕСТОВОЕ ЗАДАНИЕ – это единица контрольного материала, содержание, логическая структура и форма представления которого удовлетворяют ряду специфических требований и обеспечивают однозначность оценок результатов испытуемых в выбранной шкале27.
Предтестовое задание называется ТЕСТОВЫМ, если апостериорные количественные оценки его характеристик удовлетворяют определенным критериям, нацеленным на проверку качества содержания, формы и на выявление системообразующих свойств заданий теста27.
В.Аванесов различает «задание в тестовой форме» и «тестовое задание».
ЗАДАНИЕ В ТЕСТОВОЙ ФОРМЕ - одно из основных понятий педагогической теории измерений. В.Аванесов определяет задание в тестовой форме как педагогическое средство, отвечающее следующим требованиям54:
1) цель;
2) краткость;
3) технологичность;
4) логическая форма высказывания;
5) определенность места для ответов;
6) одинаковость правил оценки ответов;
7) правильность расположения элементов задания;
8) одинаковость инструкции для всех испытуемых;
9) адекватность инструкции форме и содержанию задания.
Эти требования позволяют отличить задания в тестовой форме от остальных.
Сравнивая требования В.Аванесова с требованиями Дж.Кеттела к тесту (как системе заданий) приведенными выше, можно прийти к выводу, что они частично перекрываются, что соответствует логике тестирования как применения измерительного инструмента.
Рассмотрим более детально, перечисленные требования.
ЦЕЛЬ. Разработчик должен отчетливо представлять себе какова цель предъявления тестового задания испытуемому. Цель создания тестового задания зависит, в частности, от типа теста (критериально-ориентированный или нормативно-ориентированный), в который оно будет включено, от степени подготовленности испытуемых, от вида тестирования (итоговое, текущее, для самоконтроля) и так далее.
Пожалуй, самым важным фактором, определяющим цель задания является получение информации о степени усвоения испытуемым той или иной единицы учебного материала. Формулированию цели заданий способствует создание технологической матрицы (тестовой решетки), представляющей собой перечень учебных тем с относительным распределением тестовых заданий по этим темам7. Распределение заданий в технологической матрице определяется важностью, объемом и количеством учебного времени.
Не менее важным, представляется определение вида умения, выявляемого тестовым заданием. В частности, в таксономии Б.Блума55 выделяются следующие уровни усвоения учебного материала - «знание», «понимание», «применение», «анализ», «синтез», «оценка». Предлагаются и другие таксономии (В.П.Беспалько56, М.Н.Скаткин57, В.П.Симонов58, М.В.Кларин59). Задания, посвященные одной и той же учебной единице, но ориентированные на тот или иной уровень усвоения, имеют разные цели и, по этой причине, будут иметь разное содержание.
КРАТКОСТЬ. Формулировка задания должна быть предельно лаконичной, но не в ущерб пониманию сути задания. Необходимо исключить повторы слов и, тем более, целых фраз. Чем лаконичнее задание, тем лучше оно воспринимается.
Рассмотрим пример. Пусть мы поставили целью выяснить, знает ли испытуемый, что объем вещества в жидком состоянии неизменен (первый уровень в таксономии Блума). Для достижения поставленной цели, сформулируем задание следующим образом:
1. ВЕЩЕСТВА, НАХОДЯЩИЕСЯ В ЖИДКОМ СОСТОЯНИИ, ХАРАКТЕРИЗУЮТСЯ СЛЕДУЮЩИМИ СВОЙСТВАМИ
+1) сохраняют неизменный объем
2) сохраняют
неизменную форму
Теперь переформулируем задание, следуя требованию краткости. Во-первых, перенесем повторяющиеся фрагменты из блока ответов в основную часть задания.
2. ВЕЩЕСТВА, НАХОДЯЩИЕСЯ В ЖИДКОМ СОСТОЯНИИ, ХАРАКТЕРИЗУЮТСЯ СЛЕДУЮЩИМИ СВОЙСТВАМИ - СОХРАНЯЮТ НЕИЗМЕННЫМИ
+1) объем
2) форму
Во-вторых, попытаемся сократить основу задания.
3. ЖИДКОСТИ СОХРАНЯЮТ
+1) объем
2) форму
Во всех приведенных вариантах задания, поставленная цель достигается, но в третьем примере суть задания воспринимается гораздо легче. От испытуемого требуется меньше усилий, чтобы воспринять содержание задание. Экономя усилия испытуемого на технической процедуре восприятия задания, мы позволяем ему в большей степени сосредоточиться на выполнении задания.
ТЕХНОЛОГИЧНОСТЬ. Это требование порождено использованием технических, компьютерных средств в обучении. Если задания технологичны, то тестирование проводится быстро, экономично, объективно. Особенно это важно для компьютерного тестирования.
Рассмотрим пример. По техническим причинам легче создать компьютерную программу-тестер, которая работает в текстовом режиме. Технологичность в этом случае означает, что в тестовом задании нельзя использовать рисунки, чертежи, формулы. Это вполне допустимо для гуманитарных дисциплин и здесь текстовый режим успешно используется.
Совершенно другая ситуация складывается, например, для таких дисциплин как физика или математика. Здесь формулы, рисунки и чертежи очень важны. В 70 - 80-х годах прошлого века в основном создавались программы, работавшие именно в текстовом режиме. Разработчики тестов по физике, были вынуждены формулировать задания, используя самое примитивное построение формул, какое только позволял текстовый режим. О рисунках не было и речи. Поскольку это ограничивало невербальное сопровождение тестового задания, то в последующем стали разрабатываться программы-тестеры, работающие в графическом режиме, хотя это и потребовало усложнения программ. В результате содержание требования технологичности изменилось.
ЛОГИЧЕСКАЯ ФОРМА ВЫСКАЗЫВАНИЯ. Согласно В.С.Аванесову, это средство упорядочения и эффективной организации содержания теста. Эта форма во многих случаях заменяет вопросы. Логическое преимущество задания в тестовой форме заключается в возможности естественного превращения утверждения, после ответа испытуемого, в форму истинного или ложного высказывания54. Этого же мнения придерживается и М.Б.Челышкова.
Следует отметить, что не все разделяют это мнение. А.Н.Майоров считает, что хорошо сформулированное задание в вопросительной форме ничем не уступает хорошо сформулированному вопросу в форме утверждения. Если попытаться в утвердительной форме вопроса поставить два отрицания, то такое задание становится совершенно непонятным7. Голландский институт CITO дает рекомендацию: «Используйте прямые вопросы. Предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце»60 (из книги А.Н.Майорова). В.Ю.Переверзев37 также считает, что основа тестового задания может формулироваться в вопросительной форме, что позволяет заданиям соответствовать более высоким познавательным уровням таксономии.
По этому поводу можно сказать следующее. Наш личный опыт показывает, что всегда удается сформулировать задание с выборов в форме утверждения. Иногда возникают ситуации, когда, казалось бы, задание формулируется только в виде прямого вопроса. Однако после тщательного анализа цели задания, его содержания, все же удается подобрать утвердительную форму задания. В результате задание получается, по крайней мере, не хуже, чем задание в форме прямого вопроса. В частности, все примеры, где используется прямой вопрос, из книги А.Майорова, можно преобразовать в утвердительную форму. Рассмотрим, например, задание №45 у А.Майорова7.
КТО АВТОР ПАМЯТНИКА ПУШКИНУ НА ПЛОЩАДИ ИСКУССТВ?
1) Аникушин
2) Орловский
3) Козловский
4) Трубецкой
5) Опекушин
Теперь преобразуем его в утвердительную форму.
АВТОРОМ ПАМЯТНИКА ПУШКИНУ НА ПЛОЩАДИ ИСКУССТВ ЯВЛЯЕТСЯ
1) Аникушин
2) Орловский
3) Козловский
4) Трубецкой
5) Опекушин
Рассмотрим пример 3.6. для когнитивного уровня «Оценка» в таксономии Блума из книги В.Переверзева37.
Если 0 < a < 1 и b > 1, то, какое из следующих выражений имеет наибольшее значение?
1) (b/a)2
2) b/a
3) (a/b)2
4) a/b
5) Нельзя определить
из данных задачи
Переформулируем это задание.
Если 0 < a < 1 и b > 1, то наибольшее значение имеет выражение
1) (b/a)2
2) b/a
3) (a/b)2
4) a/b
При переформулировании задания нами использованы принципы импликации и однородности (отброшен пятый вариант ответа), описанные в главе 3, и требование логической формы высказывания.
Из этих примеров видно, что переформулировать задание в утвердительную форму можно. Таким образом, требование логической формы высказывания, по нашему мнению, следует считать обоснованным.
Остановимся на вопросе размещения ответа в содержательной части (основе) задания. Желательно, чтобы ответ размещался в конце задания, как показано в вышеприведенных примерах. Однако в некоторых случаях допустимо встраивать ответ внутрь основы задания.
ЗВУКОВЫЕ ВОЛНЫ В ____ РАСПРОСТРАНЯЮТСЯ СО СКОРОСТЬЮ 330 м/с.
1) воде
+2) воздухе
3) стекле
В месте прочерка вставляется выбранный ответ, и утверждение превращается в истинное высказывание. Отметим, что все же надо пытаться размещать ответ в конце задания.
СО СКОРОСТЬЮ 330 м/с ЗВУКОВЫЕ ВОЛНЫ РАСПРОСТРАНЯЮТСЯ В
1) воде
+2) воздухе
3) стекле
Во втором примере задание читается несколько хуже, не так «гладко», как в первом.
ОПРЕДЕЛЕННОСТЬ МЕСТА ДЛЯ ОТВЕТА является одним из внешних и сущностных признаков задания в тестовой форме54. Важным требованием к заданию, является «экономность» в его оформлении. На бланке (дисплее компьютера) не должно быть ничего лишнего. Форма задания должна всячески минимизировать усилия испытуемых на восприятие его содержания. Определенность места для ответа – один из приемов такой минимизации. Представим себе, что место для ответа меняется от задания к заданию (в нижнем правом углу, в левом верхнем, посередине и т.д.), насколько бы это усложнило работу испытуемого. Любые ненужные усилия испытуемых, увеличивают вероятность ошибочного ответа, что приводит к снижению результата тестирования, по причинам, не связанным с его уровнем знаний. Ясно, что такой тест, как измерительный инструмент, будет некачественным.
ОДИНАКОВОСТЬ ПРАВИЛ ОЦЕНКИ ОТВЕТОВ заключается в том, что все испытуемые находятся в равном положении. Это необходимое условие использования теста в качестве средства измерения.
ПРАВИЛЬНОСТЬ РАСПОЛОЖЕНИЯ ЭЛЕМЕНТОВ ЗАДАНИЯ. Это требование заключается в строгом соблюдении размещения элементов (блоков) задания согласно его структуре. О структуре задания будет сказано далее.
ОДИНАКОВОСТЬ ИНСТРУКЦИИ ДЛЯ ВСЕХ ИСПЫТУЕМЫХ. Это очевидное требование, в противном случае появится большая систематическая погрешность измерения.
АДЕКВАТНОСТЬ ИНСТРУКЦИИ ФОРМЕ И СОДЕРЖАНИЮ ЗАДАНИЯ означает взаимное соответствие компонентов, что необходимо для выполнения заданием своей функции. Несоответствие формы содержанию, и, наоборот, содержания форме, вызывает ошибку понимания смысла задания54.
Следует различать задания в тестовой форме и тестовые задания. Только после статистической проверки задание в тестовой форме может стать тестовым заданием.
Тест состоит не из заданий в тестовой форме, не из вопросов и задач, а только из тестовых заданий54.
ТЕСТОВОЕ ЗАДАНИЕ - это составная единица теста, отвечающая требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям:
1) известной трудности;
2) дифференцирующей способности (достаточной вариации
тестовых баллов);
3) положительной корреляции баллов задания с баллами по
всему тесту, а также другим математико-статистическим требованиям54.
Отметим также, что тестовые задания должны удовлетворять условию локальной независимости61. В.Переверзев37 отмечает, что ответ испытуемого на каждое тестовое задание не подвергается влиянию и статистически независим от ответа на любое другое тестовое задание. Локальная независимость предполагает, что испытуемый, отвечая на задание, не может использовать добавленное знание, полученное из ответа на любое другое тестовое задание.
Из локальной независимости, в частности, следует, что компьютерные тестирующие программы не должны информировать испытуемого об успешности выполнения очередного задания, например, выводить на дисплей 0 или 1 баллов (для дихотомического случая). Допустим, что испытуемый не знает правильного ответа на какое-либо задание. В этом случае он может попытаться угадать верный ответ. Если попытка окажется успешной, о чем ему сообщит компьютерная программа-тестер, то испытуемый получит добавленное знание. Это может помочь ему справиться с каким-либо другим заданием, то есть условие локальной независимости заданий будет нарушено.
Рассмотрим пример нарушения условия локальной независимости тестовых заданий. Пусть испытуемый, при выполнении нижеприведенного задания, угадал правильный ответ (третий)
СО СКОРОСТЬЮ 330 м/с ЗВУК РАСПРОСТРАНЯЕТСЯ В
1) воде
2) стекле
+3) воздухе
В результате выполнения задания он получил новое знание – оказывается скорость звука в воздухе равна 330 м/с. Пусть затем, ему попалось такое задание:
СО СКОРОСТЬЮ 1500 м/с ЗВУК РАСПРОСТРАНЯЕТСЯ В
+1) воде
2) стекле
3) воздухе
Анализируя ответы, испытуемый уже знает, что третий – неверный. В результате задание утратило один дистрактор и превратилось в задание с двумя ответами. Если бы задания изначально имели два ответа, то из-за нарушения условия локальной независимости, второе задание вообще бы перестало быть тестовым.