Выполнение тестового задания требует определенного времени. Общее время тестирования определяется количеством и сложностью заданий. Должно ли это время быть ограниченным или не ограниченным - определяется конкретной ситуацией, в которой применяется тест.
А.Майоров указывает, что каждый тест имеет оптимальное время тестирования, уменьшение или превышение которого снижает качественные показатели теста. В.Аванесов считает время выполнения системообразующим фактором при разработке и использовании теста.
Такое внимание этому вопросу уделяется по той причине, что неверно установленное время тестирования не позволяет тестовым заданиям достичь своей цели - проверить знает ли испытуемый тот или иной элемент, проверяемой дидактической единицы.
К чему приведет, например, слишком малое время тестирования? Слабые учащиеся не справятся с тестом потому, что имеют слабую подготовку, а сильные - потому, что не имели достаточно времени на выполнение заданий. У всех испытуемых будут примерно одинаково низкие индивидуальные баллы, то есть произойдет уменьшение дифференцирующей способности теста. Результаты такого теста не будут объективно отражать уровень подготовленности учащихся*.
Так же неблагоприятно влияет на тестирование и слишком большого времени выполнения теста. В этом случае мы также получим негативное воздействие на измерительные качества теста. В частности, сильные учащиеся, досрочно завершив тестирование, в оставшееся время начнут шуметь, отвлекать тех, кто еще не закончил тестирование, подсказывать им и т.д. (нарушение процедуры тестирования). Другие испытуемые, будут долго сидеть над заданиями, не решаясь выбрать ответ. Это вызовет у них утомление, снижение концентрации внимания, расслабление, что также снижает точность тестирования. Утомление обусловлено чувством усталости, которое проявляется процессами торможений в клетках коры головного мозга. В состоянии утомления, испытуемый способен показать лишь малую долю своих истинных способностей. Тестировать его в этом случае бесполезно, так что мы не добьемся цели тестирования.
А.Майоров приводит следующие эффекты проявления утомления:
1) на поведенческом уровне - приводит
к уменьшению скорости и точности работы;
2) на физиологическом уровне - приводит
к повышению инерции в динамике нервных процессов;
3) на психологическом уровне, ведет к
нарушению качеств внимания, процессов памяти, степени адекватности функционирования
интеллектуальных процессов;
4) происходят сдвиги в эмоционально -
мотивационной сфере.
Как же определить оптимальное время тестирования? Вопрос не простой. Начнем с практических рекомендаций. На выполнение одного задания обычно отводится 30-60 секунд. Если задания соответствуют простому «узнаванию» (первый уровень таксономии Блума), то, как показывает наш опыт, вполне достаточно 5 - 10 секунд. По мере продвижения на верхние уровни таксономии Блума, это время должно увеличиваться в десятки раз. Имея опыт, еще на этапе разработки тестового задания можно грубо оценить время его выполнения. Суммарное время по всем заданиям даст общее время тестирования.
Длина теста (количество заданий) и время тестирования - тесно связанные и, в определенном смысле эквивалентные характеристики, но определяющим является все же именно время тестирования, поскольку оно задает порог утомления, за которым тест начинает терять свои измерительные свойства.
Теоретически рассчитать это время невозможно, поэтому рекомендуется использовать эмпирические данные по результатам первичной апробации теста.
Оптимальное время тестирования - это время от начала процедуры тестирования до момента наступления утомления7. Как определить момент начала утомления? В.Аванесов предлагает отслеживать момент достижения максимума дисперсии тестовых результатов (рис.1.3.1.).
Рис.1.3.1. Время тестирования.
А.Майоров считает, что оптимальное время тестирования соответствует не максимуму дисперсии, а моменту точке начала ее увеличения7.
Рассмотрим детальнее эти разногласия. На рисунке показана гипотетическая зависимость дисперсии тестовых результатов от времени тестирования.
Предположим, что все испытуемые одновременно начинают и одновременно заканчивают сеанс тестирования (досрочное завершение невозможно). Очевидно, что при очень малом времени тестирования, все испытуемые одинаково не выполнят ни одного задания, то есть дисперсия должна отсутствовать. При очень больших значениях времени тестирования (большая длина теста) ввиду высокой степени утомления, все испытуемые также не смогут выполнить тест, то есть дисперсия снова будет близка к нулю. При оптимальном времени тестирования (согласно В.Аванесову это t3) дисперсия будет максимальной. А.Майоров, считает, что оптимальное время тестирования соответствует точке t2.
Весь временной интервал разбивается на пять характерных областей I, II, III, IV и V. В области I (очень малые времена тестирования) дисперсия быстро растет в связи с тем, что время реакции у испытуемых разное и, поэтому, часть испытуемых начнет успевать справляться с некоторыми заданиями теста. Произойдет дифференциация испытуемых, что и обусловит быстрый рост дисперсии на начальном участке.
Далее, во второй области рост дисперсии замедляется, так как теперь испытуемые с замедленной реакцией тоже начнут успевать выполнять задания. Темп увеличения дифференциация испытуемых уменьшится, то есть, замедлится рост дисперсии тестовых баллов.
В третьей области III скорость возрастания дисперсии снова увеличится. Это происходит по причине того, что теперь время тестирования достаточно велико и большинство испытуемых успевают полноценно проанализировать задания. Здесь начинает работать другой механизм - дифференциация испытуемых происходит не за счет различия во времени реакции, а за счет различия в уровне подготовленности.
В точке t3 дисперсия достигает максимума и далее, в области IV, начнет снижаться. Уменьшение дисперсии обусловлено усилением утомления испытуемых. В области V утомление становится настолько сильным, что дисперсия тестовых баллов падает практически до нуля.
В области III, утомление испытуемых, появившись, начинает воздействовать на дисперсию тестовых баллов, а в точке t3 становится насколько сильным, что начинает снижать дисперсию.
Из приведенного анализа следует, что точка зрения В.Аванесова предпочтительнее, во всяком случае, для нормативно-ориентированного тестирования. Основным доводом в пользу этого является то, что важнейшей задачей теста является дифференциация испытуемых. В точке t3, эта дифференциация будет в основном обеспечена именно различием в уровне подготовленности испытуемых.
Таким образом, для эмпирического определения оптимального времени тестирования, необходимо провести серию сеансов различной длительности. Эти серии сеансов неоднократно повторить на выборках испытуемых, как можно более близких по своим характеристикам. После обработки собранного статистического материала, необходимо построить функцию, как показано на рисунке 1.3.1, и определить значение момента времени t3. Это и будет оптимальное время тестирования.
Согласно рекомендации С.Отиса, в качестве оптимального времени тестирования приближенно можно принять время, в течение которого с тестом справляются не более пяти процентов испытуемых (А.Майоров,2001).
До сих пор мы обсуждали время тестирования как таковое, абстрагируясь от личности испытуемого. Зависимость на рис.1.3.1 – гипотетическая, основанная на умозрительных предположениях. В.В.Черненко62 приводит экспериментальные данные по временной зависимости степени утомления (рис.1.3.2)63.
Рис.1.3.2. Изменение относительного объёма воспринимаемой информации по зрительному (1), слуховому (2) каналам в течение занятия.
Согласно В.В.Черненко, в первые 9 минут эксперимента объем информации воспринимаемой осознанно как по зрительному, так и по слуховому каналам достигает своего максимума. Далее, в течение последующих 18 минут плавно, но незначительно снижается, а в последующие 9 минут для зрительного канала достигает первоначального значения, для слухового канала достигает первоначально значения в течение 18 минут. По истечении 45 минут относительный объем осознанно воспринимаемой информации довольно значительно падает62.
Если предположить, что занятия по теоретическим дисциплинам и тестирование требуют равного интеллектуального напряжения, то из приведенной зависимости следует, что утомляемость испытуемых начинает заметно проявляться через время tу равное 36 минутам после начала тестирования. Оптимальное время тестирования t3 соответствует моменту, когда положительный эффект обусловленный увеличением времени тестирования будет компенсирован отрицательным воздействием утомления испытуемых. Время t3 должно быть немного больше времени tу - запаздывание обеспечивает попадание в область максимума дисперсии тестовых результатов. Тогда из этих данных следует, что t3 примерно равно 40 - 45 мин. Эти значения находятся в удовлетворительном согласии с рекомендациями, ограничивать длину теста 50-60 заданиями. Если на одно задание отводить 30-60 секунд, то общее время тестирования составит примерно 50 минут. А.И.Буравлев и В.Ю.Переверзев64 показали, что критериально-ориентированный тест из 50 заданий может обеспечить надежность равную 0,9. Иными словами, тест из 50-60 заданий с одной стороны обеспечивает достаточно высокую надежность, а с другой – эффект утомления для такого теста еще слабо влияет на результаты.
В.В.Черненко отмечает, что источником систематической погрешности может стать пренебрежение суточным и недельным распределением момента начала тестирования.
Рис.1.3.3. Изменение относительного объема воспринимаемой информации по часам учебного дня
Зависимость, показанная на рис.1.3.3, свидетельствует о том, что проведение тестирования в послеобеденное время приведет к снижению результатов по сравнению с утренним тестированием62. Пренебрежение этим эффектом может крайне негативно сказаться на результатах нормативно-ориентированного тестирования. Получается, что ранг испытуемого зависит от того, когда его тестировали – утром или вечером.
Аналогичный эффект проявляется при проведении тестирования в различные дни недели. Результаты исследований63, представленные на рис. 1.3.4, показывают, что день недели может вносить систематическую погрешность в результаты тестирования.
Исследования В.В.Черненко показывают, что указание оптимального времени является необходимым, но недостаточным параметром теста. При определении выборки стандартизации необходимо указывать день недели и часы тестирования. Это особенно важно для нормативно-ориентированных тестов.
Рис.1.3.4. Относительные объемы воспринимаемой информации по дням недели.
По данным А.Анастази19 результаты теста интеллекта для одного и того же испытуемого в начале недели могут дать показатель равный 110, а в конце недели – 80. Вполне возможно, что это связано со снижением работоспособности к концу недели.
Таким образом, при определении времени тестирования необходимо учитывать следующие рекомендации:
1) время тестирования определяется по расположению максимума дисперсии
тестовых результатов и не должно превышать 60 минут;
2) длина теста не должна превышать 60-70 заданий, в предположении, что на выполнение одного
задания требуется не более одной минуты;
3) тестирование необходимо
проводить в первой половине дня;
4) тестирование желательно проводить в середине недели.
* Вспомним, как резко меняется сила игры шахматиста в зависимости от того, играет он двухчасовую партию или пятиминутный блиц.