Психологическая диагностика. Учебное пособие / Под ред. К.М. Гуревича и Е.М. Борисовой. М.: УРАО, 1997.

К оглавлению

Глава XI. КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННОЕ ТЕСТИРОВАНИЕ (КОРТ)

Критериально-ориентированное тестирование — новое направление в диагностике умственного развития учащихся. Основанные на особых способах конструирования и обработки методики КОРТ приобретают все большее значение в современной школе. Для построения заданий в КОРТ используется материал учебных программ — из него отбираются учебные задания, отвечающие определённым требованиям: задания должны репрезентировать внутренне завершенную область какого-то учебного предмета. Далее необходимо, чтобы задание могло быть представлено как логическая последовательность умственных действий, приводящих к его выполнению. Это задание при его выполнении должно вводить в мышление учащихся новые термины, понятия, ситуации и способствовать установлению связей и отношений между ними и тем, что уже было усвоено ранее. Такие задания называют ключевыми. Овладение содержанием ключевого задания выступает в КОРТ в качестве критерия умственного развития учащихся в той специфической области, к которой принадлежит это задание; уровень развития тем выше, чем полнее овладевают учащиеся его содержанием. Сложились два вида критериев.

Первый — критерий как показатель учебных достижений. Он обобщает ключевые задания из тех разделов учебных программ, изучение которых уже завершено. Сравнивая результаты, полученные при испытании методиками КОРТ, с критерием, устанавливают уровень умственного развития отдельного учащегося или группы учащихся. Разумеется, что этот уровень развития относится к той специфической области, которую представляет критерий.

Второй вид — критерий как показатель логико-психологической подготовленности учащегося к выполнению ключевых заданий из состава разделов программы, которые предстоит изучать. Критерий этого вида предназначен для того, чтобы установить, соответствует ли умственное развитие учащегося требованиям, предъявляемым новым программным материалом.

§ 1. Разработка методик КОРТ, диагностирующих математическое мышление

Получившая развитие в США и других странах практика разработки методик КОРТ, традиционно ориентируясь на концепцию критерия как определенного континуума знаний, навыков, специфических операций, оставила без должного внимания изучение психологических предпосылок, обеспечивающих выполнение критериального задания Преодоление этой тенденции вызвало необходимость исследования модели разработки методик КОРТ, в которых воплощено психологическое содержание, выделены основные требования к умственному развитию учащихся.

Психологическое содержание методик КОРТ определяется не только их особой направленностью — обращенностью теста на контроль и оценку умственного развития. Методики КОРТ исследуют умственные действия, опосредующие выполнение учащимися учебных заданий. Указания на то, что это за действия, в методической литературе, как правило, отсутствуют, а если и имеются, то им присущ самый общий характер — это ссылки на необходимость анализа, синтеза, сравнения, обобщения, без определения содержательных показателей их выполнения на материале с конкретной предметной спецификой. Эти действия должны быть выявлены как путём логико-психологического анализа задания, так и в ходе специально организованных наблюдений за учащимися, когда они выполняют задание. Психологическое содержание закладывается в тест и с помощью методических приёмов, связанных с отбором содержания тестовых заданий, а также анализом способов ориентации в предметном материале, каждый из которых обусловлен "субъективной логикой" учащихся, овладевающих требуемыми умственными действиями.

Все это учитывается в ходе составления спецификации теста. Описывая критерий, на который данный тест ориентирован, спецификация вместе с тем определяет границы той области содержания, к которой тест относится.

Для того чтобы показать, как проводится спецификация, обратимся к уже имеющемуся опыту разработки методик КОРТ. Тест, о котором пойдет речь далее, был разработан на материале математики (6 класс общеобразовательной школы) и был направлен на выявление умственных действий, опосредующих умение составлять уравнения по условиям тестовых задач. Конструируя методику КОРТ, автор всегда исходит из того, что представленное в тесте задание является ключевым. В данном случае предполагалось, что умение составлять уравнения является таковым в ряду математических знаний и умений. В 5—6 классах это умение только формируется, здесь закладывается и его психологическое содержание, т.е. умственные действия, обусловливающие функционирование умения. На дальнейших этапах роль этого умения возрастает.

Подготавливая спецификацию теста, прежде всего нужно раскрыть критериальное значение исследуемого содержания. Для указанного теста оно таково: специфика изучения математики тесно связана с актуализацией умственных действий, формированием приёмов мышления школьников. Эти приёмы выступают как условие исследования и решения тестовых задач. В данном случае в спецификации отмечается, что существенным в решении текстовых задач является построение последовательности моделей задачи, конечным звеном в которой является математическая модель (уравнение). Моделирование отношений между величинами является конституирующей характеристикой математического мышления, а знаковые модели и их трансформации выступают в качестве содержательной основы умственных действий. Ориентация на знаковую модель, которая является результатом мыслительного преобразования текстовой математической задачи, выступает, таким образом, как критерий формирования умственных действий Он и закладывается в данный тест. Составление уравнения по условиям текстовых задач предполагает, что учащийся владеет такими умственными действиями:

1. анализирует ситуацию задачи,  т.е.  выявляет  условие,  существенное для составления уравнения по тексту задачи (основание для уравнивания);
2. устанавливает  тождество   между  знаковыми моделями разной  степени обобщенности и текстом-описанием;
3. разбивает задачи на классы по существенному основанию — типу отношений между величинами;
4. усматривает подобие в задачах исходя из аналогичного характера моделирования зависимости между величинами.

Выявленная совокупность умственных действий составляет основу конструирования методики КОРТ. Сформированность каждого действия проверяется отдельным субтестом. В тесте, о котором идет речь, таких субтестов четыре (по числу обозначенных действий):

"Выделение существенного",

"Четвертый лишний",

"Найди подобную",

"Установление тождества".

Разработчик теста должен быть уверен, что в тест войдет материал, который репрезентативен для исследуемого учебного содержания. С этой целью была произведена каталогизация тестовых задач. Она включала в себя сведения о сюжетах, особенностях задач, их предметном содержании (т.е. какие величины представлены в задаче: взаимосвязанные или разные значения одной и той же величины), типах знаковой модели отношений между величинами, входящими в условие задачи. Далее определялся примерный удельный вес каждой задачи, т.е. то место, которое отводится задаче данного типа в школьном учебнике математики. Таким образом, в задания субтестов были включены все основные типы задач, представленные в учебной программе. При разработке методики КОРТ тексты отобранных задач были подвергнуты некоторым изменениям, связанным с включением в условия стимульного материала. Например, для заданий методик КОРТ стимульным материалом явились такие элементы содержания и структуры задачи, которые могли бы побудить учащихся использовать сложившиеся у них способы ориентации в материале — субъективные "логики". В условия задач вводились одинаковые числовые данные, сходная лексика и т.д. Все эти несущественные, внешние по отношению к собственно математическому содержанию задач данные осуществляли функцию "шума", предназначенного "маскировать" сигналы, т.е. отношения между величинами, фиксируемые знаковой моделью определенного вида.

Внесение в задания стимульного материала позволяет определить, насколько соответствует степень сформированности умственного действия установленному критерию. Если ученик так и не овладел требуемым умственным действием, он не сумеет преодолеть неадекватные способы ориентации в учебном материале. Все это ясно продемонстрирует методика КОРТ.

Приведем образцы заданий всех четырех субтестов рассматриваемого КОРТ с указанием содержательных показателей их выполнения

Субтест "Выделение существенного". В него входят задания следующего типа. Установи, какое из выделенных (А, Б, В, Г) условий является существенным в определении характера уравнения, которое следует составить к данной задаче.

Заказ по выпуску машин завод должен был выполнить за 15 дней (А), но уже за два дня до срока (Б) завод не только выполнил план, но и выпустил сверх плана ещё 6 машин (В), так как ежедневно выпускал по 2 машины сверх плана (Г). Сколько машин должен был выпустить завод по плану?

Правильное выполнение задания предполагает, что учащийся ориентируется на условие, указывающее на отношение между величинами (условие В): "Объём выпущенной сверх плана продукции на 6 машин .больше планового объёма". Данное условие является "ключевым" в выявлении характера уравнения, тогда как условия А, Б, Г, хотя и содержат в себе определенную математическую информацию, определяют лишь вид отдельных алгебраических выражений, но не уравнения в целом.

Субтест "Четвертый лишний". В него включены задания типа: даны четыре задачи; три — одного вида, одна — другого, т.е. лишняя, относится к задачам другого вида. Определи, какая из задач (А, Б, В, Г) является лишней.

A. Бригада трактористов намечала ежедневно вспахивать по 60 га. Однако план вспашки перевыполнялся ежедневно на 25%, а поэтому пахота была закончена за день до срока. Определите, за сколько дней было вспахано поле.

Б. По плану колхоз должен был засевать по 25 га в день. Но колхозники смогли увеличить дневную норму на 5 га и закончили сев на три дня раньше срока. Какова площадь поля?

B. Расстояние между двумя станциями электропоезд проходит за 1,2 часа. Из-за ремонта пути поезд уменьшил свою скорость на 20% и прошел это расстояние за 1,5 часа. Найдите первоначальную скорость поезда.

Г. Два звена собрали со своих участков 8840 ц кукурузы, причем первое звено получило в среднем с га по 150 ц, а второе — по 108 ц. Участок второго звена был на 35% больше участка первого звена. Определите площадь участка первого звена.

При выполнении задания существенным является то, что учащийся сопоставляет и объединяет задачи на основе общности типа отношений между величинами (лишняя в ряду задач — задача Г). Общность сюжета (работа в колхозе — задачи А, Б, Г), сходство отдельных деталей (зависимость между значениями величин задаётся в форме процентного соотношения — задачи А, Б, Г) не являются достаточными основаниями для заключения о том, что задачи относятся к одному и тому же виду.

Субтест "Найти подобную". В него входят задания такого типа: найти задачу, подобную данной: найти три последовательных нечетных числа, сумма которых равна 81.

А. Шнур разрезали на три части, причем первая часть в 2 раза больше второй и третьей в отдельности. Чему равна длина каждой из трех частей, если известно, что вторая часть меньше первой на 81 см?

Б. Сумма двух чисел равна 81. Если одно из них увеличить в два раза, то сумма полученных чисел будет равна 136. Чему равно каждое из двух чисел?

B. Сумма углов треугольника равна 180 градусам. Величины углов относятся как числа 3, 4 и 5, найти углы треугольника.

Г. Найдите два числа, сумма которых равна 132, если 1/5 одного числа равняется 1/6 другого.

Существенным при актуализации действия нахождения аналогии является ориентация на подобие знаковых моделей рассматриваемых задач (задача В). Нахождение аналогии на основе сходства числовых данных (А), отдельных лексических единиц условия за-дачной ситуации (Б), аналогичных синтаксических организаций (Г) свидетельствуют о том, что учащийся представленным в субтесте умственным действием не владеет.

Субтест "Установление тождества". В него входят задания такого вида: какая из составленных задач соответствует уравнению вида 6х - х = 25?

A. Витя задумал два числа. Их частное равно 6, а разность — 25. Какие числа задумал Витя?

Б. Мама испекла 25 пирожков с малиной и яблоками. С малиной пирожков было в 6 раз больше. Сколько пирожков было с яблоками?

B. В одной комнате в 6 раз больше людей, чем во второй. После того как из первой комнаты 25 человек перешли во вторую, в обеих комнатах людей стало поровну. Сколько людей было в каждой комнате первоначально?

Г. После того как в первую неделю израсходовали шестую часть всего имеющегося угля, на складе осталось 25 т угля. Сколько всего угля было на складе?

Показателем того, что ученик владеет представленным в субтесте умственным действием, является сопоставление уравнения и условия задачной ситуации на основе заданного в тексте-описании и фиксируемого уравнением типа отношений между величинами (задача А).

Успешность выполнения каждого задания оценивается по двоичной системе: 1 соответствует правильному выполнению, 0 — неправильному или отказу от решения.

Независимо от того, на каком предметном содержании разрабатываются методики КОРТ или какие частные принципы положены в основу их конструирования, спецификация теста всегда включает в себя краткое описание той области содержания, для изучения которой предназначен тест, образцы задания, стимулы-признаки критерия, типичные ответы, которые могут дать испытуемые в ситуации тестирования. Спецификация теста задаёт основу для установления содержательного соответствия тестовых заданий реальных учебных задач. И не важно, подробной или краткой будет эта спецификация, ее основное значение заключается в том, что она позволяла в содержательном и операциональном планах оценить, что действительно означает выполнение теста по отношению к критериальной области поведения.

Когда спецификация составлена, подготовленные методики КОРТ подлежат проверке.

Прежде всего разработчику теста необходимо убедиться, что его предварительный анализ умственных действий, опосредующих выполнение учебных заданий, был верен и каждое из умственных действий имеет свое собственное логическое содержание. Эта задача решается путём составления результатов по отдельным субтестам КОРТ'. Если каждое из анализируемых умственных действий играет свою особую роль в опосредовании умения, то вряд ли можно будет ожидать, что между успешностью выполнения отдельных субтестов будет выявлена тесная связь.

Модель умственных действий, представленная в методиках КОРТ, должна быть исследована с точки зрения ее содержательного соответствия реальному выполнению учащимися учебных заданий. Это достигается путём сопоставления результатов КОРТ и представительных выборок учебных контрольных заданий (сокращенно КЗ). Это не исключает сопоставления данных тестирования с учебной успеваемостью, с результатами экзаменационных проверок и т.д.

Если анализ логического состава умения верен и владение совокупностью умственных действий, актуализируемых методикой КОРТ, действительно связано с реальным выполнением учебных заданий, то следует ожидать, что учащиеся, которые владеют всеми умственными действиями по методике КОРТ, успешно выполнят и КЗ. Соответственно те учащиеся, которые не владеют ни одним из умственных действий, заданных КОРТ, с ними не справятся. Проверка этого предположения осуществляется путём установления зависимости между выполнением методики КОРТ и КЗ.

При сопоставлении выполнения субтестов КОРТ, а также методики КОРТ в целом с другими методиками обычно используют Ф-коэффициент (коэффициент Пирсона для дихотомических данных) как оптимальный метод анализа экспериментальных данных подобного характера (см. главу XIV).

Сопоставление методик КОРТ и КЗ не может ограничиваться рассмотрением коэффициентов корреляции, поскольку этот коэффициент не говорит о причинах совпадений или расхождений. Возникает необходимость качественного анализа рассогласований. Это предполагает обращение к характерным особенностям выполнения методик КОРТ и КЗ отдельными учащимися и их группами.

Специальному анализу подлежат также данные учащихся, которые, владея лишь некоторыми из представленных в методиках КОРТ умственными действиями, все же выполняют КЗ с высоким результатом. Будет правомерным предположить, что успех выполнения заданий (КЗ) здесь может непосредственно зависеть от того, удаётся ли им заменить то умственное действие, которым они не владеют, другими действиями или их сочетаниями. Компенсация умственного действия в данном случае связана с переформулированием условия задания, с перестройкой умственных действий для решения задания. В исследовании математического КОРТ, например, был выявлен и проанализирован случай, в котором может идти речь о компенсации.

По результатам методик математического КОРТ учащийся владеет лишь двумя из умственных действий — выделением существенного и установлением тождества. Ему предлагают установить, какое из трех уравнений к задаче составлено правильно. Учащийся выполняет задание следующим образом. Он выделяет в условии данной ему задачи основание для уравнивания и составляет уравнение (выделение существенного), затем последовательно сопоставляет полученное им уравнение с тремя предложенными вариантами (установление тождества) и тем самым правильно выполняет контрольное задание.

Вместе с тем актуализация этих умственных действий по отношению к данному заданию представляет собой неэкономный в логическом плане способ решения. Ориентация на тип задачи и характеризующий его вид уравнения позволила бы сократить зону поиска. Но для этого следовало бы использовать умственные действия нахождения аналогии и определения классификации, а ими-то учащийся не владеет. Компенсация здесь заключалась в том, что учащийся заменяет те действия, которыми он не владеет, другими, позволяющими справиться с заданием.

Анализ рассогласований в выполнении методик КОРТ и КЗ позволяет исследователю выявить присущие учащимся способы выполнения заданий и оценить, насколько эти способы отвечают задачам умственного развития в области математики.

Корт своими содержательными и структурными характеристиками соответствует конкретной ситуации обучения и поэтому может служить оперативным средством контроля и оценки результатов обучения. Разработка и исследование таких тестов всегда связаны с решением актуальных учебно-образовательных задач. С помощью методик КОРТ учителя и психологи могут выявить объективные показатели умственного развития в отношении тех разделов обучения, которые соотносимы с ключевыми, ведущими требованиями школьной программы. Анализ выполнения теста позволяет локализовать и раскрыть недостатки и пробелы в логико-психологической и учебной подготовке школьников, в их умственном развитии, определить направление и содержание коррекционных воздействий. Критериально-ориентированное тестирование может выступить как один из компонентов обратной связи в функционировании системы образования. Применение методик КОРТ позволяет выявить, соответствуют ли осуществляемые учащимися умственные действия логике предметного материала, складывается ли у учащихся предметная ориентация мышления. И не случайно первый опыт разработки методик КОРТ был вызван необходимостью углубленного психологического анализа трудностей и недостатков умственного развития учащихся, связанных с усвоением базовых учебных умений и приёмов мыслительной деятельности в конкретных областях предметного содержания.

К оглавлению