Стандарт оценки нестандартности, или Как массово протестировать креативность

Александр Поддьяков
Александр Поддьяков

В январской статье «На той стороне Луны, или Как живется школьной олимпиаде по литературе» [1] учитель, председатель Гильдии словесников Сергей Волков написал о встрече с учителями, преподавателями вузов, членами жюри и представителями Министерства образования и науки одного из регионов России: «Мы были поражены безапелляционностью некоторых преподавателей, допущенных к проверке детских работ: они уверены в существовании набора неких единственно возможных филологических истин, за уклонение от которых работы школьников беспощадно режутся. Их не интересует живой поиск смысла они служат мертвой букве догмы».

Сходная проблема обнаруживается при массовом тестировании творческого мышления (креативности). Участнику предлагаются творческие задания с так называемым открытым концом (допускающие неограниченное число разумных оригинальных решений): придумать как можно больше усовершенствований показанной игрушечной пожарной машины, изобрести как можно больше способов необычного использования кирпича и т. п.

Но как оценивать ответы множества участников? При массовой оценке креативности нередко используется следующий прием: разработчики теста на основе либо априорных соображений, либо предварительного исследования на реальной выборке составляют то, что можно назвать «стандартным списком творческих, оригинальных ответов» (originality lists). Если ответ того или иного участника не попадает в эти заранее составленные списки, разработчики идут двумя разными путями.

Первый путь: отходя от предписанного списка, оценивающие внимательно вчитываются в ответ и, если он разумен, ставят этому участнику максимально возможный балл. Идея такова: участник придумал то, что пока никому не приходило в голову — ни ранее протестированным участникам, ни самим разработчикам, — это необходимо оценить максимальным баллом.

Второй путь — прямо противоположный: ответы (творческие, напомним), которые не входят в заранее составленные списки (но не входят же), предписывается оценивать в 0 баллов (незачет). Подтвердим его существование и использование на примере творческого задания PISA (Programme for International Student Assessment, Международной программы по оценке образовательных достижений учащихся). В ней участвуют десятки и сотни тысяч пятнадцатилетних школьников из десятков стран, в том числе из России.

Общий вид MP3-плеера, предлагаемого для обследования школьникам в исследовании PISA-2012
Общий вид MP3-плеера, предлагаемого для обследования школьникам в исследовании PISA-2012

В 2012 году участникам, среди прочих заданий, предлагался для обследования виртуальный MP3-плеер новой модели. По его виртуальным кнопкам можно было кликать мышкой и наблюдать реакции, что позволяло путем логических рассуждений разобраться в принципе его работы и затем выполнить задания на понимание этого принципа. Последнее задание было таково: «Опишите, как можно было бы изменить управление работой MP3-плеера, чтобы можно было обходиться без нижней кнопки v». Как пишут разработчики, это творческое задание, не имеющее единственного правильного ответа, и с ним справилось только 25% школьников.

Это хорошее задание. Проблема в том, что разработчики предусмотрели лишь несколько вариантов ответа, и все эти ответы относятся к одному типу (конкретно, это действия с одной, верхней кнопкой плеера). Другие ответы по инструкции предписано не засчитывать. (Можно открыть оценочный файл PISA [2] и убедиться, что там написано: Full Credit Gives an answer that describes how the MP3 player could still operate with only one arrow button. No Credit Other responses).

Но каковы шансы, что среди десятков тысяч тестируемых не найдется подросток, сумевший изобрести еще один достаточно адекватный способ? А такие способы быстро обнаруживаются, причем даже не один. Это действия с двумя кнопками («мультиклики»), использование возможностей сенсорного экрана, а не только клавиатуры, и др. Почему эти и другие возможные ответы проглядели разработчики — предмет отдельного рассмотрения; гипотезы есть (см. мою статью «Практики тестирования чужого ума» [3]). Важнее другое.

Когда эта ошибка оценивания была выявлена в рамках критики PISA, произошли две вещи. Во-первых, перестал работать в режиме отрытого доступа сайт PISA, где было выставлено, среди прочих, это задание (или перестал работать вообще). Теперь эти задания нельзя непосредственно обследовать и проверять. Как выглядела страница доступа, сейчас можно узнать только с помощью архивирующих веб-машин [4].

Второе изменение: из документов, описывающих задания 2015 года [5], без каких-либо мотивировок и объяснений полностью исчезли слова «креативность» и «креативный», хотя в заданиях 2012 года они были среди основных. Можно думать, что это произошло потому, что разработчики осознали сложность оценивания креативности — особенно проводимой таким образом.

Указанная ошибка представляется не единственной, но PISA не вступает в диалог с внешними исследователями. Проверка и перепроверка результатов разными командами исследователей — часть исследовательской корпоративной культуры проектов «Геном человека», «Большой адронный коллайдер» и других, но, похоже, не проекта PISA.

Например, вы ничего не узнаете от самой PISA об открытом критическом письме группы ученых, в том числе с мировыми именами, которое было переопубликовано в мае 2014 года такими влиятельными изданиями, как The Guardian [6] и Washington Post [7]. В чем причина такого различного отношения к закрытости/открытости — вопрос к теории типов организаций и организационных культур.

Здесь встает как минимум три вопроса.

1. Нужна ли PISA? Да, безусловно. Там много по-настоящему интересных и правильно выстроенных заданий.

2. В какой степени можно доверять рейтингам, построенным по результатам выполнения батареи заданий, если обнаружены ошибки разработчиков в ряде этих заданий? Это вопрос, на который разные люди дают разные ответы.

3. Существуют ли способы изучения творческого мышления? Да, но они значительно сложнее идеи «стандартных списков творческих ответов», так удобных при массовом тестировании. Аналогично известной теореме Кеннета Эрроу о невозможности совершенной избирательной системы необходима, вероятно, теорема о невозможности стандартного массового теста творческого мышления. Приоритет остается за живым поиском смысла.

Александр Поддьяков,
докт. психол. наук, профессор департамента психологии,
вед. науч. сотр. Лаборатории экспериментальной и поведенческой
экономики НИУ ВШЭ

1. https://slovesnik.org/olimpiady/na-toj-storone-luny-ili-kak-zhivetsya-shkolnoj-olimpiade-po-literature.html

2. https://nces.ed.gov/surveys/pisa/pdf/CB-mp3.pdf

3. www.firo.ru/wp-content/uploads/2016/12/Poddjakov.pdf

4. goo.gl/9IZQlP

5. www.oecd.org/pisa/pisaproducts/PISA2015-Released-FT-Cognitive-Items.pdf

6. www.theguardian.com/education/2014/may/06/oecd-pisa-tests-damaging-education-academics

7. www.washingtonpost.com/blogs/answer-sheet/wp/2014/05/13/academics-call-for-pause-in-pisa-tests

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Связанные статьи

avatar
11 Цепочка комментария
23 Ответы по цепочке
2 Подписки
 
Популярнейший комментарий
Цепочка актуального комментария
10 Авторы комментариев
Рудольф СергеевМихаилSr 90BeobachterIvan Авторы недавних комментариев
  Подписаться  
Уведомление о
Ash
Ash

Много материалов на самые разнообразные темы попало на этот сайт за последнее время из НИУ ВШЭ. Какие-то из них более интересны, а какие-то менее.

Но самое интересное то, что нет ни одного, даже самого маленького, захудалого текста, посвящённого программе выхода из экономического кризиса.

Что совершенно непроизвольно навевает абсолютно антинаучные конспирологические мысли…

Денис
Денис

Да какая там конспирология… Базовые принципы всем понятны, тут никакой глубокой науки не нужно, но если об этом начать говорить — прекрасная жизнь «экспертов» с зарплатами по 200+ т.р. очень быстро кончится, а если подробно говорить, то уже и «двушечка» где-то рядом, а то и что похуже. Оно кому-то надо?! Пожалуй, единственное, что вспоминается из приличного и оригинального здесь — работа С.Г. Кордонского по сословной структуре общества. Действительно, социология, а не унылая социография с гаданиями на кофейной гуще в виде выборки из 100 пенсионеров, обернутой в наукообразную «математику». По-настоящему исследовать процессы деградации базовых общественных институтов, правдиво показывать динамику показателей качества… Подробнее »

Ash
Ash

«По-настоящему исследовать процессы деградации базовых общественных институтов, правдиво показывать динамику показателей качества жизни, исследовать макроэкономические процессы с оценкой эффективности управления госкорпорациями,…» Как это ни смешно, но подобные работы из ВШЭ (разумеется, без практических выводов и потому вполне лояльные) время от времени на просторах интернета изредка попадаются (лень искать ссылки, но, поскольку в этом вопросе я пристрастен, то можно мне чуть-чуть поверить). Однако все эти статьи какие-то «случайные» — разрозненные и беглые. Как заметки на полях. И потому мне кажется, что фундаментальная причина, как это ни странно, в простом отсутствии интереса к вопросу. Объяснить же такое явление можно системой, используемой для… Подробнее »

Александр Поддьяков
Александр Поддьяков

Уважаемые коллеги, прошу прощения за офф-топ и вопрос вне сферы ваших интересов — а какое-нибудь мнение о PISA и массовом оценивании школьников есть? (Хотя понимаю, что не в тему.)

Ash
Ash

https://www.anekdot.ru/best/story/0512/ Вместо детали НВ–46–39–00 в нижеследующем тексте следует иметь ввиду деталь XAJ-11003100 http://www.detali.ru/wi/img.asp?GRAID=01390708201 ——————————————- Знакомый на работу устраивался. Сварщиком. Собеседование в отделе HR (Модно сейчас — «эйчар»). Мастер цеха пришёл и сидят вместе с девочкой–кадровичкой общаются. Мастер спрашивает что варил, разряд и прочие тонкости. Вопросов много задавал, знакомый отвечал и рассказывал. Девочка слушала. Побеседовали минут двадцать. Мастер говорит девочке прямо при знакомом: «Ну, специалист, вроде, толковый — прошу оформить к нам». Девочка: «Подождите! Надо пройти ещё психологический тест!» Мастер: «А что за тест?» Девочка: «Ну, психологический! Мы должны понять же, человек подходит нам или нет, как вы не понимаете?» Мастер:… Подробнее »

Александр Поддьяков
Александр Поддьяков

А, понял: вначале — экономика, потом — образование (и его оценивание). Найти то звено… Форму звена тоже понял. Передам предложенный совет коллегам-экономистам (сам-то я психолог, реализовать грамотно не смогу) — авось прислушаются.

Ash
Ash

1. Не знаю, входит ли в Ваше ведение диалектика, но образование сможет оказывать обратное влияние на экономику только в том случае, если экономика предоставит ему такую возможность.

А пока мы имеем ту самую понятую Вами форму вместо содержания.

2. «…предложенный совет коллегам-экономистам…»

Не прислушаются, потому что от попыток его реализации хирш не вырастет.

Александр Поддьяков
Александр Поддьяков

Как человек, закончивший вуз в 1985-м, про соотношение базиса и надстройки я знаю. Образование влияет на состояние массового сознания, которое влияет либо на изменения экономики в некотором спектре направлений (негативные не исключаются), либо на ее сохранение по ряду важных для экономических агентов параметров. У разных экономических агентов (стейкхолдеров) свои представления об образовании в той сфере, где они ведут экономическую деятельность, и о целях образования в целом. Отсюда (хотя не только отсюда) достигающие высокого идеологического накала споры о необходимости – вредности разнообразия или наиединственности программ и учебников и прочие интересные вещи в сфере образования. Поскольку Вас интересует именно экономическая составляющая, могу… Подробнее »

Ash
Ash

«…Intel, Microsoft, Cisco…им важно знать…Эта переориентация, вероятно (?), важна для указанных экономических агентов-стейкхолдеров.» Когда-то была пародия на «Что? Где? Когда?», в которой в качестве приза давали, помнится, книгу «Рытье канав и котлованов на Западно-Сибирской равнине в условиях весеннего половодья» с комментарием «В Москве её просто не достать». У народа (и у научных сотрудников в частности) в среднем маленькая зарплата. Денег на эксперименты нет. Начальство проводит такую политику, что анализировать её приходится на основе представлений о первобытной культуре и т.д. и т.п. Если же Вы посмотрите на материалы данного сайта, поступившие из ВШЭ, скажем, в течение последнего года, то у Вас… Подробнее »

Александр
Александр

Я, как профессиональный педагог, могу сказать, что все эти тесты — даром никому не нужное фуфло. Пока у меня нет возможности отчислять студентов (за отчисления могут сократить), пока моя зарплата составляет 18 000 р. (и никаких доплат, как в ВШЭ, нет), пока само образование совершенно невостребовано (ибо нет промпроизводства) — все это похоже на издевательство. Нет даже возможности не принимать в вуз явных дегенератов — ЕГЭ (купленное) же! А так да, меня самого всякие психологи тестируют, про запоры все спрашивают. Вы с народом (учителями и преподами) пообщайтесь про тесты. Но ведь могут и в сытое лицо ударить (нам нечего уже… Подробнее »

Денис
Денис

Именно так. Прорва бездельников и болтунов занимается изобретением велосипеда, когда всё здесь давно изобретено…

«Массово протестировать креативность» — это где-то рядом «окольцевать популяцию жар-птицы» или «определить средний вес особи чупакабры».

Денис
Денис

«Но ведь могут и в сытое лицо ударить (нам нечего уже терять, ибо оборванцы).»

Да еще как…

https://lenta.ru/articles/2017/05/15/penury/

—————————————————————————————————-
Иркутская область Я учитель английского, немецкого, русского и литературы в сельской школе. Зарплата 12 тысяч. Вместе с дочками-подростками хожу убирать богатые коттеджи неподалеку в поселке. Им льстит, что у них уборщица может и ребенку с русским подсказать, и сочинение проверить, и по-английски поговорить. А я боюсь — говорят, школу закроют. И я в 38 лет с красным дипломом буду уборщицей?
—————————————————————————————————-

Ash
Ash
Денис
Денис

Вот бы какой-нибудь столичный эксперт по взвешиванию креативности забрёл как-нибудь на кафедру, например, общей физики, провинциального вуза, рассказал бы им о важности своих исследований, о внедрении форм и тестов для преподавателей, инноваций в педагогике, а после — показал бы им свою зарплатную ведомость…

Ну а по выходу из травматологии, написал бы проникновенную статью, прочувствованную, так сказать, всеми жабрами души: «Маргинализация и рост агрессии в среде профессорско-преподавательского состава на почве хронической неудовлетворенности материальным положением». Монументальный вышел бы труд :-D

Александр Поддьяков
Александр Поддьяков

Действительно, зачем в этих условиях людям психологические знания об отношениях в семье, детско-родительских отношениях, об обучении чтению и т.д. (см., скажем, https://www.hse.ru/org/persons/27017842#other ). Это, понятно, отвлекающий маневр ВШЭ (на предмет публикаций из которой Вы специально проверяете сайт?). Об устройстве школьных тестов – я уже в этой переписке и упоминать боюсь. Но подготовка к ним (именно к таким) – это вопрос качества жизни детей и их родителей. Регулярные взломы тестовых систем не были бы такими регулярными и востребованными, если бы это было не так. И директора некоторых школ, не знающие, видимо, того, о чем Вы пишете, внимательно фиксируют, какого типа задания… Подробнее »

Ash
Ash

«Вы можете заходить на сайт любого научно-популярного издания и с небольшими вариациями повторять реплики того же характера, что и здесь.»

Проделайте опыт — найдите на этом сайте научно-популярную статью про экономику.

Когда найдёте — продолжим разговор.

Михаил
Михаил

Господин Ash, ваши аргументы мне кажутся неубедительными. Если на науку сейчас не дают достаточно денег, это не значит, что наука и умные люди стране не нужны. Это всего лишь говорит о том, что в элите скопилось слишком много «детей кухарок», которые распределяют финансовые потоки в соответствии со своими представлениями о структуре общества. Но по большому счету любой здравомыслящий человек понимает, что интеллектуальная элита нам нужна. Поэтому совершенствование инструментов, направленных на выявления способной молодежи, это актуальная задача. А основной посыл статьи, насколько я понял, именно в этом.

Ash
Ash

1. «…в элите скопилось слишком много «детей кухарок»…» Исходный текст, который Вы имеете ввиду, гласит: «Мы не утописты. Мы знаем, что любой чернорабочий и любая кухарка не способны сейчас вступить в управление государством.. Но мы […] требуем немедленного разрыва с тем предрассудком, будто управлять государством, нести будничную, ежедневную работу управления в состоянии только богатые или из богатых семей взятые чиновники. Мы требуем, чтобы обучение делу государственного управления велось сознательными рабочими и солдатами и чтобы начато было оно немедленно, т. е. к обучению этому немедленно начали привлекать всех трудящихся, всю бедноту». http://www.bibliotekar.ru/encSlov/10/6.htm 2. «…которые распределяют финансовые потоки в соответствии со своими… Подробнее »

Александр Поддьяков
Александр Поддьяков

Ash, почему экономисты из ВШЭ не публикуются в ТрВ, я не знаю. Но тут какая-то несогласованность в аргументации. В другом месте Вы вообще пишете: «Проделайте опыт — найдите на этом сайте научно-популярную статью про экономику». Это ВШЭ что ли запретило всем экономистам страны здесь публиковаться? (Поддерживающая гипотеза в рамках заявленных Вами «конспирологических мыслей»?)

Вводим вот такую ссылку и смотрим (следуя Вашему примеру) данные за год:
https://www.google.ru/search?q=%D0%B2%D1%88%D1%8D+%D0%BA%D1%80%D0%B8%D0%B7%D0%B8%D1%81&newwindow=1&noj=1&tbs=qdr:y&ei=3iUbWZS1A-KE6QTQ566gBA&start=20&sa=N&biw=1025&bih=453

Или по персоналиям: http://polit.ru/lector/gontmaher/
Или по документам: https://dcenter.hse.ru/data/2016/09/15/1123504237/Social_monitoring_2015_q3.pdf

Я не экономист, но нашел быстро.

Ash
Ash

«Это ВШЭ что ли запретило всем экономистам страны здесь публиковаться?» Вы удивитесь, но сами не пишут. Редакция-то не против. Хотя на этом сайте в основном присутствуют люди с естественнонаучным образованием, но и гуманитарии встречаются. Налицо огромная проблема — эти люди относятся к экономике в подавляющем большинстве исключительно как обыватели. Экономисты, опять же в подавляющем большинстве, имеют сугубо гуманитарное мышление, что исключительно пагубно сказывается на результатах их работы. Эти две аудитории могли бы сообщить друг другу массу полезных вещей. Но они почему-то практически не пересекаются. Вот Вам, как профессиональному психологу, актуальнейшая проблема — какая нечистая сила мешает взаимодействию этих двух групп?… Подробнее »

Александр Поддьяков
Александр Поддьяков

Денис, детский тест на понимание текста: о чем статья? Денис пишет: «Прорва бездельников и болтунов занимается изобретением велосипеда, когда всё здесь давно изобретено… «Массово протестировать креативность» — это где-то рядом «окольцевать популяцию жар-птицы» или «определить средний вес особи чупакабры». Сюрприз для Дениса — вот как раз абсурдность массового, стандартного тестирования креативности (но при этом реализованная) и составляет основной сюжет статьи. В журнале для подростков «Кот Шрёдингера» я написал понятно для этого возраста. Сама идея стандартного массового тестирования креативности — нонсенс, оксюморон. Дети, когда Вас подобным образом тестируют, есть в этом что-то неправильное. Денис, когда Вы прочтете, станет понятно и Вам,… Подробнее »

Иван
Иван

Тусовка иронично прореагировала на тему тестирования способностей.
Потому как не «оборванцы», а Победители! … в отрицательном отборе.
С ними нужно обсуждать проблемы реформирования РАН.
Статья здесь — тест.
Автору спасибо, интересно повернулось.

Ash
Ash

Вот и я говорю — материал не по адресу.

Ivan
Ivan

Не согласен. Речь о мышлении. Рассуждения при нечетких или неосознанных критериях нередки и в естественных науках. В психологии это проявилось наиболее выпукло, поскольку в тесте креативности испытуемые оказались креативнее испытателей. Разработчики стандартов забыли о «стандартах». А ведь есть очень простые: если измеряешь температуру, не забудь поставить градусник.

Beobachter
Beobachter

Ivan, ну примитив же явный, оскорбляющий интеллект…

Проблема эта давно известна, классика жанра из педагогики — «Пушкин думал не об этом, когда писал те строки!», из психологии — некоторые старые и «самодельные» тесты IQ, задание вставить пропущенное число или продолжить последовательность, иногда возможно несколько вариантов ответа, а в проверочной таблице только один.

Про PISA и само понятие «креативность» — к счастью, или к сожалению, у России нет исключительного патента на дураков, и в мире их хватает помимо наших…

Ivan
Ivan

Примитив — Да. Но ставки высоки, когда повторяется с регулярностью метронома.
И не только/столько в педагогике, психологии и России.
Оценивать PISA не возьмусь ибо не знаком, а разбираться — времени нет.
Замечу только, что между «к счастью» и «к сожалению» как раз лежит отсутствие критерия.
И здесь не всё гладко, ведь в «дураки» попадают и «не как все», которые не обязательно плохи (то есть наша национальная легенда).
Поэтому автор статьи с выводом: «Приоритет остается за живым поиском смысла» — мудр.
Осмеивать его поспешили.
На том и порешим.

Ash
Ash

«Приоритет остается за живым поиском смысла»

Гениально. Срочно в Швецию!

Sr 90
Sr 90

Автор написал самоочевидную банальность, задание про плеер — пример обычной бытовой глупости составителя, такое бывает. Ничего оригинального или интересного автор не сказал, но и высмеивать особо, вроде бы, не за что. Набросились, вероятно, из-за общего предубеждения к ВШЭ.

Ash
Ash

«…вероятно, из-за общего предубеждения к ВШЭ.»

Слова «вероятно» и «предубеждение» совершенно излишни.

Сейчас ВШЭ объективно играет роль идеологического учреждения вроде Института марксизма-ленинизма при Брежневе.

Иван
Иван

Правильнее: материал не по зубам.

Ash
Ash

Если Вы попросите разных людей вставить слова в известное упражнение для школьников младших классов:

«(Какая?) (кто?) завела нас в (какой?) лес»

то получите совершенно разные результаты.

Просто зубы у всех заточены в различные стороны.

Михаил
Михаил

Существует теорема Гёделя «о неполноте»: Любая система аксиом не полна или противоречива». Уважаемые спецы, даже не понимают абсурдности своих поисков.

Александр
Александр

По тому, кто вспоминает Геделя всуе, плачет Vergasungswagen. Не любая система аксиом, а любая система аксиом, содержащая аксиоматику натурального ряда (в частности, аксиомы индукции). Например, исчисление предикатов — непротиворечиво и полно.

Рудольф Сергеев
Рудольф Сергеев

«Нужна ли PISA? Да, безусловно..» Контроль остаточных знаний с помощью тестов противоречит концепции управления качеством — TQM (Total Quality Management), и это удаляет нас от общеевропейских процессов интеграции в сфере высшего образования… А это значит, что дипломы, полученные в ВУЗАх, где практикуется эта система, автоматически не будут признаны за границей. * Постепенно вся Европа тоже приняла такое решение, а в США, хоть единое тестирование и проводится, оно не является основанием для поступления в вуз, а лишь составной частью портфолио абитуриента. К тому же в Штатах тесты направлены на определение способности к обучению, к логическому мышлению, это ни в коем случае… Подробнее »

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (Пока оценок нет)
Загрузка...
 
 

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: