- Троицкий вариант — Наука - http://trv-science.ru -

Стандарт оценки нестандартности, или Как массово протестировать креативность

Александр Поддьяков

Александр Поддьяков

В январской статье «На той стороне Луны, или Как живется школьной олимпиаде по литературе» [1] учитель, председатель Гильдии словесников Сергей Волков написал о встрече с учителями, преподавателями вузов, членами жюри и представителями Министерства образования и науки одного из регионов России: «Мы были поражены безапелляционностью некоторых преподавателей, допущенных к проверке детских работ: они уверены в существовании набора неких единственно возможных филологических истин, за уклонение от которых работы школьников беспощадно режутся. Их не интересует живой поиск смысла они служат мертвой букве догмы».

Сходная проблема обнаруживается при массовом тестировании творческого мышления (креативности). Участнику предлагаются творческие задания с так называемым открытым концом (допускающие неограниченное число разумных оригинальных решений): придумать как можно больше усовершенствований показанной игрушечной пожарной машины, изобрести как можно больше способов необычного использования кирпича и т. п.

Но как оценивать ответы множества участников? При массовой оценке креативности нередко используется следующий прием: разработчики теста на основе либо априорных соображений, либо предварительного исследования на реальной выборке составляют то, что можно назвать «стандартным списком творческих, оригинальных ответов» (originality lists). Если ответ того или иного участника не попадает в эти заранее составленные списки, разработчики идут двумя разными путями.

Первый путь: отходя от предписанного списка, оценивающие внимательно вчитываются в ответ и, если он разумен, ставят этому участнику максимально возможный балл. Идея такова: участник придумал то, что пока никому не приходило в голову — ни ранее протестированным участникам, ни самим разработчикам, — это необходимо оценить максимальным баллом.

Второй путь — прямо противоположный: ответы (творческие, напомним), которые не входят в заранее составленные списки (но не входят же), предписывается оценивать в 0 баллов (незачет). Подтвердим его существование и использование на примере творческого задания PISA (Programme for International Student Assessment, Международной программы по оценке образовательных достижений учащихся). В ней участвуют десятки и сотни тысяч пятнадцатилетних школьников из десятков стран, в том числе из России.

Общий вид MP3-плеера, предлагаемого для обследования школьникам в исследовании PISA-2012

Общий вид MP3-плеера, предлагаемого для обследования школьникам в исследовании PISA-2012

В 2012 году участникам, среди прочих заданий, предлагался для обследования виртуальный MP3-плеер новой модели. По его виртуальным кнопкам можно было кликать мышкой и наблюдать реакции, что позволяло путем логических рассуждений разобраться в принципе его работы и затем выполнить задания на понимание этого принципа. Последнее задание было таково: «Опишите, как можно было бы изменить управление работой MP3- плеера, чтобы можно было обходиться без нижней кнопки v». Как пишут разработчики, это творческое задание, не имеющее единственного правильного ответа, и с ним справилось только 25% школьников.

Это хорошее задание. Проблема в том, что разработчики предусмотрели лишь несколько вариантов ответа, и все эти ответы относятся к одному типу (конкретно, это действия с одной, верхней кнопкой плеера). Другие ответы по инструкции предписано не засчитывать. (Можно открыть оценочный файл PISA [2] и убедиться, что там написано: Full Credit Gives an answer that describes how the MP3 player could still operate with only one arrow button. No Credit Other responses).

Но каковы шансы, что среди десятков тысяч тестируемых не найдется подросток, сумевший изобрести еще один достаточно адекватный способ? А такие способы быстро обнаруживаются, причем даже не один. Это действия с двумя кнопками («мультиклики»), использование возможностей сенсорного экрана, а не только клавиатуры, и др. Почему эти и другие возможные ответы проглядели разработчики — предмет отдельного рассмотрения; гипотезы есть (см. мою статью «Практики тестирования чужого ума» [3]). Важнее другое.

Когда эта ошибка оценивания была выявлена в рамках критики PISA, произошли две вещи. Во-первых, перестал работать в режиме отрытого доступа сайт PISA, где было выставлено, среди прочих, это задание (или перестал работать вообще). Теперь эти задания нельзя непосредственно обследовать и проверять. Как выглядела страница доступа, сейчас можно узнать только с помощью архивирующих веб-машин [4].

Второе изменение: из документов, описывающих задания 2015 года [5], без каких-либо мотивировок и объяснений полностью исчезли слова «креативность» и «креативный», хотя в заданиях 2012 года они были среди основных. Можно думать, что это произошло потому, что разработчики осознали сложность оценивания креативности — особенно проводимой таким образом.

Указанная ошибка представляется не единственной, но PISA не вступает в диалог с внешними исследователями. Проверка и перепроверка результатов разными командами исследователей — часть исследовательской корпоративной культуры проектов «Геном человека», «Большой адронный коллайдер» и других, но, похоже, не проекта PISA.

Например, вы ничего не узнаете от самой PISA об открытом критическом письме группы ученых, в том числе с мировыми именами, которое было переопубликовано в мае 2014 года такими влиятельными изданиями, как The Guardian [6] и Washington Post [7]. В чем причина такого различного отношения к закрытости/открытости — вопрос к теории типов организаций и организационных культур.

Здесь встает как минимум три вопроса.

1. Нужна ли PISA? Да, безусловно. Там много по-настоящему интересных и правильно выстроенных заданий.

2. В какой степени можно доверять рейтингам, построенным по результатам выполнения батареи заданий, если обнаружены ошибки разработчиков в ряде этих заданий? Это вопрос, на который разные люди дают разные ответы.

3. Существуют ли способы изучения творческого мышления? Да, но они значительно сложнее идеи «стандартных списков творческих ответов», так удобных при массовом тестировании. Аналогично известной теореме Кеннета Эрроу о невозможности совершенной избирательной системы необходима, вероятно, теорема о невозможности стандартного массового теста творческого мышления. Приоритет остается за живым поиском смысла.

Александр Поддьяков,
докт. психол. наук, профессор департамента психологии,
вед. науч. сотр. Лаборатории экспериментальной и поведенческой
экономики НИУ ВШЭ

1. https://slovesnik.org/olimpiady/na-toj-storone-luny-ili-kak-zhivetsya-shkolnoj-olimpiade-po-literature.html

2. https://nces.ed.gov/surveys/pisa/pdf/CB-mp3.pdf

3. www.firo.ru/wp-content/uploads/2016/12/Poddjakov.pdf

4. goo.gl/9IZQlP

5. www.oecd.org/pisa/pisaproducts/PISA2015-Released-FT-Cognitive-Items.pdf

6. www.theguardian.com/education/2014/may/06/oecd-pisa-tests-damaging-education-academics

7. www.washingtonpost.com/blogs/answer-sheet/wp/2014/05/13/academics-call-for-pause-in-pisa-tests

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Связанные статьи