- Троицкий вариант — Наука - https://trv-science.ru -

Стандарт оценки нестандартности, или Как массово протестировать креативность

Александр Поддьяков

Алек­сандр Под­дья­ков

В январ­ской ста­тье «На той сто­роне Луны, или Как живет­ся школь­ной олим­пиа­де по лите­ра­ту­ре» [1] учи­тель, пред­се­да­тель Гиль­дии сло­вес­ни­ков Сер­гей Вол­ков напи­сал о встре­че с учи­те­ля­ми, пре­по­да­ва­те­ля­ми вузов, чле­на­ми жюри и пред­ста­ви­те­ля­ми Мини­стер­ства обра­зо­ва­ния и нау­ки одно­го из реги­о­нов Рос­сии: «Мы были пора­же­ны без­апел­ля­ци­он­но­стью неко­то­рых пре­по­да­ва­те­лей, допу­щен­ных к про­вер­ке дет­ских работ: они уве­ре­ны в суще­ство­ва­нии набо­ра неких един­ствен­но воз­мож­ных фило­ло­ги­че­ских истин, за укло­не­ние от кото­рых рабо­ты школь­ни­ков бес­по­щад­но режут­ся. Их не инте­ре­су­ет живой поиск смыс­ла они слу­жат мерт­вой бук­ве дог­мы».

Сход­ная про­бле­ма обна­ру­жи­ва­ет­ся при мас­со­вом тести­ро­ва­нии твор­че­ско­го мыш­ле­ния (кре­а­тив­но­сти). Участ­ни­ку пред­ла­га­ют­ся твор­че­ские зада­ния с так назы­ва­е­мым откры­тым кон­цом (допус­ка­ю­щие неогра­ни­чен­ное чис­ло разум­ных ори­ги­наль­ных реше­ний): при­ду­мать как мож­но боль­ше усо­вер­шен­ство­ва­ний пока­зан­ной игру­шеч­ной пожар­ной маши­ны, изоб­ре­сти как мож­но боль­ше спо­со­бов необыч­но­го исполь­зо­ва­ния кир­пи­ча и т. п.

Но как оце­ни­вать отве­ты мно­же­ства участ­ни­ков? При мас­со­вой оцен­ке кре­а­тив­но­сти неред­ко исполь­зу­ет­ся сле­ду­ю­щий при­ем: раз­ра­бот­чи­ки теста на осно­ве либо апри­ор­ных сооб­ра­же­ний, либо пред­ва­ри­тель­но­го иссле­до­ва­ния на реаль­ной выбор­ке состав­ля­ют то, что мож­но назвать «стан­дарт­ным спис­ком твор­че­ских, ори­ги­наль­ных отве­тов» (originality lists). Если ответ того или ино­го участ­ни­ка не попа­да­ет в эти зара­нее состав­лен­ные спис­ки, раз­ра­бот­чи­ки идут дву­мя раз­ны­ми путя­ми.

Пер­вый путь: отхо­дя от пред­пи­сан­но­го спис­ка, оце­ни­ва­ю­щие вни­ма­тель­но вчи­ты­ва­ют­ся в ответ и, если он разу­мен, ста­вят это­му участ­ни­ку мак­си­маль­но воз­мож­ный балл. Идея тако­ва: участ­ник при­ду­мал то, что пока нико­му не при­хо­ди­ло в голо­ву — ни ранее про­те­сти­ро­ван­ным участ­ни­кам, ни самим раз­ра­бот­чи­кам, — это необ­хо­ди­мо оце­нить мак­си­маль­ным бал­лом.

Вто­рой путь — пря­мо про­ти­во­по­лож­ный: отве­ты (твор­че­ские, напом­ним), кото­рые не вхо­дят в зара­нее состав­лен­ные спис­ки (но не вхо­дят же), пред­пи­сы­ва­ет­ся оце­ни­вать в 0 бал­лов (неза­чет). Под­твер­дим его суще­ство­ва­ние и исполь­зо­ва­ние на при­ме­ре твор­че­ско­го зада­ния PISA (Programme for International Student Assessment, Меж­ду­на­род­ной про­грам­мы по оцен­ке обра­зо­ва­тель­ных дости­же­ний уча­щих­ся). В ней участ­ву­ют десят­ки и сот­ни тысяч пят­на­дца­ти­лет­них школь­ни­ков из десят­ков стран, в том чис­ле из Рос­сии.

Общий вид MP3-плеера, предлагаемого для обследования школьникам в исследовании PISA-2012

Общий вид MP3-пле­е­ра, пред­ла­га­е­мо­го для обсле­до­ва­ния школь­ни­кам в иссле­до­ва­нии PISA-2012

В 2012 году участ­ни­кам, сре­ди про­чих зада­ний, пред­ла­гал­ся для обсле­до­ва­ния вир­ту­аль­ный MP3-пле­ер новой моде­ли. По его вир­ту­аль­ным кноп­кам мож­но было кли­кать мыш­кой и наблю­дать реак­ции, что поз­во­ля­ло путем логи­че­ских рас­суж­де­ний разо­брать­ся в прин­ци­пе его рабо­ты и затем выпол­нить зада­ния на пони­ма­ние это­го прин­ци­па. Послед­нее зада­ние было тако­во: «Опи­ши­те, как мож­но было бы изме­нить управ­ле­ние рабо­той MP3-пле­е­ра, что­бы мож­но было обхо­дить­ся без ниж­ней кнопки v». Как пишут раз­ра­бот­чи­ки, это твор­че­ское зада­ние, не име­ю­щее един­ствен­но­го пра­виль­но­го отве­та, и с ним спра­ви­лось толь­ко 25% школь­ни­ков.

Это хоро­шее зада­ние. Про­бле­ма в том, что раз­ра­бот­чи­ки преду­смот­ре­ли лишь несколь­ко вари­ан­тов отве­та, и все эти отве­ты отно­сят­ся к одно­му типу (кон­крет­но, это дей­ствия с одной, верх­ней кноп­кой пле­е­ра). Дру­гие отве­ты по инструк­ции пред­пи­са­но не засчи­ты­вать. (Мож­но открыть оце­ноч­ный файл PISA [2] и убе­дить­ся, что там напи­са­но: Full Credit Gives an answer that describes how the MP3 player could still operate with only one arrow button. No Credit Other responses).

Но како­вы шан­сы, что сре­ди десят­ков тысяч тести­ру­е­мых не най­дет­ся под­ро­сток, сумев­ший изоб­ре­сти еще один доста­точ­но адек­ват­ный спо­соб? А такие спо­со­бы быст­ро обна­ру­жи­ва­ют­ся, при­чем даже не один. Это дей­ствия с дву­мя кноп­ка­ми («муль­ти­кли­ки»), исполь­зо­ва­ние воз­мож­но­стей сен­сор­но­го экра­на, а не толь­ко кла­ви­а­ту­ры, и др. Поче­му эти и дру­гие воз­мож­ные отве­ты про­гля­де­ли раз­ра­бот­чи­ки — пред­мет отдель­но­го рас­смот­ре­ния; гипо­те­зы есть (см. мою ста­тью «Прак­ти­ки тести­ро­ва­ния чужо­го ума» [3]). Важ­нее дру­гое.

Когда эта ошиб­ка оце­ни­ва­ния была выяв­ле­на в рам­ках кри­ти­ки PISA, про­изо­шли две вещи. Во-пер­вых, пере­стал рабо­тать в режи­ме отры­то­го досту­па сайт PISA, где было выстав­ле­но, сре­ди про­чих, это зада­ние (или пере­стал рабо­тать вооб­ще). Теперь эти зада­ния нель­зя непо­сред­ствен­но обсле­до­вать и про­ве­рять. Как выгля­де­ла стра­ни­ца досту­па, сей­час мож­но узнать толь­ко с помо­щью архи­ви­ру­ю­щих веб-машин [4].

Вто­рое изме­не­ние: из доку­мен­тов, опи­сы­ва­ю­щих зада­ния 2015 года [5], без каких-либо моти­ви­ро­вок и объ­яс­не­ний пол­но­стью исчез­ли сло­ва «кре­а­тив­ность» и «кре­а­тив­ный», хотя в зада­ни­ях 2012 года они были сре­ди основ­ных. Мож­но думать, что это про­изо­шло пото­му, что раз­ра­бот­чи­ки осо­зна­ли слож­ность оце­ни­ва­ния кре­а­тив­но­сти — осо­бен­но про­во­ди­мой таким обра­зом.

Ука­зан­ная ошиб­ка пред­став­ля­ет­ся не един­ствен­ной, но PISA не всту­па­ет в диа­лог с внеш­ни­ми иссле­до­ва­те­ля­ми. Про­вер­ка и пере­про­вер­ка резуль­та­тов раз­ны­ми коман­да­ми иссле­до­ва­те­лей — часть иссле­до­ва­тель­ской кор­по­ра­тив­ной куль­ту­ры про­ек­тов «Геном чело­ве­ка», «Боль­шой адрон­ный кол­лай­дер» и дру­гих, но, похо­же, не про­ек­та PISA.

Напри­мер, вы ниче­го не узна­е­те от самой PISA об откры­том кри­ти­че­ском пись­ме груп­пы уче­ных, в том чис­ле с миро­вы­ми име­на­ми, кото­рое было пере­опуб­ли­ко­ва­но в мае 2014 года таки­ми вли­я­тель­ны­ми изда­ни­я­ми, как The Guardian [6] и Washington Post [7]. В чем при­чи­на тако­го раз­лич­но­го отно­ше­ния к закрытости/​открытости — вопрос к тео­рии типов орга­ни­за­ций и орга­ни­за­ци­он­ных куль­тур.

Здесь вста­ет как мини­мум три вопро­са.

1. Нуж­на ли PISA? Да, без­услов­но. Там мно­го по-насто­я­ще­му инте­рес­ных и пра­виль­но выстро­ен­ных зада­ний.

2. В какой сте­пе­ни мож­но дове­рять рей­тин­гам, постро­ен­ным по резуль­та­там выпол­не­ния бата­реи зада­ний, если обна­ру­же­ны ошиб­ки раз­ра­бот­чи­ков в ряде этих зада­ний? Это вопрос, на кото­рый раз­ные люди дают раз­ные отве­ты.

3. Суще­ству­ют ли спо­со­бы изу­че­ния твор­че­ско­го мыш­ле­ния? Да, но они зна­чи­тель­но слож­нее идеи «стан­дарт­ных спис­ков твор­че­ских отве­тов», так удоб­ных при мас­со­вом тести­ро­ва­нии. Ана­ло­гич­но извест­ной тео­ре­ме Кен­не­та Эрроу о невоз­мож­но­сти совер­шен­ной изби­ра­тель­ной систе­мы необ­хо­ди­ма, веро­ят­но, тео­ре­ма о невоз­мож­но­сти стан­дарт­но­го мас­со­во­го теста твор­че­ско­го мыш­ле­ния. При­о­ри­тет оста­ет­ся за живым поис­ком смыс­ла.

Алек­сандр Под­дья­ков,
докт. пси­хол. наук, про­фес­сор депар­та­мен­та пси­хо­ло­гии,
вед. науч. сотр. Лабо­ра­то­рии экс­пе­ри­мен­таль­ной и пове­ден­че­ской
эко­но­ми­ки НИУ ВШЭ

1. https://slovesnik.org/olimpiady/na-toj-storone-luny-ili-kak-zhivetsya-shkolnoj-olimpiade-po-literature.html

2. https://nces.ed.gov/surveys/pisa/pdf/CB-mp3.pdf

3. www.firo.ru/wp-content/uploads/2016/12/Poddjakov.pdf

4. goo.gl/9IZQlP

5. www.oecd.org/pisa/pisaproducts/PISA2015-Released-FT-Cognitive-Items.pdf

6. www.theguardian.com/education/2014/may/06/oecd-pisa-tests-damaging-education-academics

7. www.washingtonpost.com/blogs/answer-sheet/wp/2014/05/13/academics-call-for-pause-in-pisa-tests

Если вы нашли ошиб­ку, пожа­луй­ста, выде­ли­те фраг­мент тек­ста и нажми­те Ctrl+Enter.

Связанные статьи