Идеальная экспертиза

Рис. М. Смагина

Рис. М. Сма­ги­на

 

Александр Фрадков

Алек­сандр Фрад­ков

Алек­сандр Фрад­ков,
докт. техн. наук, зав. лабо­ра­то­ри­ей «Управ­ле­ние слож­ны­ми систе­ма­ми»
Инсти­ту­та про­блем маши­но­ве­де­ния РАН, про­фес­сор СПб­ГУ

О недо­стат­ках суще­ству­ю­щих систем экс­пер­ти­зы про­ек­тов писа­ли мно­гие. Инте­рес к про­бле­ме обост­ря­ет­ся в пери­о­ды пуб­ли­ка­ции ито­гов кон­кур­сов, и сей­час как раз такой момент — вес­ной про­шли два кон­кур­са ново­го Рос­сий­ско­го науч­но­го фон­да (РНФ), бес­пре­це­дент­ные по разыг­ры­ва­е­мым сум­мам финан­си­ро­ва­ния. Ито­ги кон­кур­сов, их досто­ин­ства и недо­стат­ки интен­сив­но обсуж­да­ют­ся [1–4]. Одна­ко кон­струк­тив­ных пред­ло­же­ний, как пре­одо­леть недо­стат­ки, немно­го. Еще мень­ше систем­ных пред­ло­же­ний, осно­ван­ных на про­шлом опы­те.

Автор берет на себя сме­лость высту­пить с таки­ми пред­ло­же­ни­я­ми, посколь­ку име­ет, воз­мож­но, уни­каль­ный опыт: Экс­перт­ный совет РФФИ (2002–2005 годы) экс­перт­ная сес­сия кон­кур­са про­ек­тов по евро­пей­ской про­грам­ме FP7 (Брюс­сель, 2007 год), Совет по гран­там при Пра­ви­тель­стве РФ (2012–2014 годы), мно­го­лет­няя рабо­та в каче­стве экс­пер­та РФФИ. Ана­ли­зу это­го опы­та посвя­ще­ны пуб­ли­ка­ции [5–7]. Экс­пер­ти­за науч­ных про­ек­тов име­ет мно­го обще­го с peer-review-рецен­зи­ро­ва­ни­ем жур­наль­ных пуб­ли­ка­ций. Автор с 1998 года явля­ет­ся чле­ном редак­ци­он­но­го сове­та по систе­мам управ­ле­ния IEEE, и этот опыт отра­жен в пуб­ли­ка­ци­ях [8–10]. Нако­нец, недав­но появил­ся опыт рабо­ты в каче­стве экс­пер­та РНФ. Конеч­но, пред­ла­га­е­мая «иде­аль­ная» систе­ма экс­пер­ти­зы не иде­аль­на, но обсуж­дать, как долж­на выгля­деть иде­аль­ная систе­ма, по-мое­му, важ­но.

Ито­ги пер­вых кон­кур­сов РНФ

В апре­ле-мае 2014 года ста­ли извест­ны прин­ци­пы орга­ни­за­ции систе­мы экс­пер­ти­зы РНФ. В рецен­зи­ро­ва­нии заявок пер­во­го кон­кур­са РНФ при­ни­ма­ло уча­стие око­ло 3000 экс­пер­тов и поэто­му досто­ин­ства и недо­стат­ки систе­мы рецен­зи­ро­ва­ния заявок РНФ широ­ко обсуж­да­ют­ся [1–3]. С после­до­ва­тель­ной кри­ти­кой систе­мы РНФ высту­пи­ла Г.А. Цир­ли­на [4].

Сре­ди пре­тен­зий, предъ­яв­ля­е­мых к РНФ, выде­лим сле­ду­ю­щие груп­пы:

— пре­тен­зии к соста­ву экс­перт­но­го сове­та (ЭС): мно­го слу­ча­ев явно­го или скры­то­го кон­флик­та инте­ре­сов у чле­нов ЭС и коор­ди­на­то­ров по направ­ле­ни­ям;

— пре­тен­зии к рабо­те экс­пер­тов: оцен­ки раз­ных экс­пер­тов силь­но раз­ли­ча­ют­ся по бал­лам и не соот­вет­ству­ют ито­го­вым заклю­че­ни­ям, пред­став­лен­ным авто­рам;

— пре­тен­зии к экс­перт­ной анке­те: опи­са­ния гра­да­ций невнят­ны, не ука­за­но, какой оцен­ке (бал­лу) они соот­вет­ству­ют, име­ет­ся непо­нят­ный пункт «пло­хо или недо­ста­точ­но инфор­ма­ции»;

— пре­тен­зии к клас­си­фи­ка­то­ру обла­стей наук.

С кон­флик­том инте­ре­сов, без­услов­но, надо бороть­ся, и спо­со­бы этой борь­бы извест­ны. Они сфор­му­ли­ро­ва­ны, напри­мер, в Заяв­ле­нии ОНР по пово­ду ито­гов кон­кур­са науч­ных групп РНФ [3]:

а) запре­тить руко­во­ди­те­лям науч­ных и обра­зо­ва­тель­ных орга­ни­за­ций, высо­ко­по­став­лен­ным чинов­ни­кам и их заме­сти­те­лям вхо­дить в экс­перт­ные сове­ты Фон­да и уж тем более руко­во­дить ими или их сек­ци­я­ми;

б) запре­тить чле­нам экс­перт­ных сове­тов Фон­да участ­во­вать в экс­пер­ти­зе и обсуж­де­нии не толь­ко про­ек­тов, в кото­рых они при­ни­ма­ют уча­стие, но и про­ек­тов, пред­став­ля­е­мых орга­ни­за­ци­ей, в кото­рой они рабо­та­ют, в том чис­ле по сов­ме­сти­тель­ству;

в) создать меха­низм опро­те­сто­вы­ва­ния реше­ний и лише­ния уже при­суж­ден­ных гран­тов при обна­ру­же­нии фор­маль­ных нару­ше­ний пра­вил пода­чи заявок (напри­мер, при выяв­ле­нии недо­ста­точ­но­го чис­ла пуб­ли­ка­ций долж­но­го уров­ня).

Пере­чис­лен­ные тре­бо­ва­ния не явля­ют­ся чем-то необыч­ным. Похо­жие тре­бо­ва­ния предъ­яв­ля­ют­ся к экс­пер­там, участ­ву­ю­щим в экс­перт­ных сес­си­ях по евро­пей­ским про­грам­мам; они реа­ли­зо­ва­ны и при экс­пер­ти­зе рос­сий­ских мега­гран­тов, где непло­хо рабо­та­ют. Был даже слу­чай их нару­ши­тель был исклю­чен из Сове­та по гран­там.

Кста­ти, тре­бо­ва­ние в), как ока­за­лось, уже учте­но РНФ: в согла­ше­ни­ях, заклю­ча­е­мых с побе­ди­те­ля­ми кон­кур­са суще­ству­ю­щих лабо­та­то­рий есть пункт

2.2. Фонд впра­ве:

2.2.1. Сокра­щать объ­ем гран­та, при­оста­нав­ли­вать или пре­кра­щать пере­чис­ле­ние средств гран­та в слу­ча­ях:

в) несо­блю­де­ния Руко­во­ди­те­лем про­ек­та и (или) Орга­ни­за­ци­ей усло­вий и цели предо­став­ле­ния гран­та;

д) обна­ру­же­ния в заяв­ке, подан­ной на кон­курс, резуль­та­ты экс­пер­ти­зы кото­рой яви­лись осно­ва­ни­ем для заклю­че­ния насто­я­ще­го Согла­ше­ния, недо­сто­вер­ных све­де­ний, суще­ствен­но повли­яв­ших на поло­жи­тель­ные выво­ды экс­пер­тов и резуль­тат экс­пер­ти­зы в целом.

К сожа­ле­нию, в вопро­сах науч­ной эти­ки часто не ори­ен­ти­ру­ют­ся сами наши уче­ные и адми­ни­стра­то­ры. Мож­но ли запре­тить дирек­то­ру или заме­сти­те­лю мини­стра пода­вать на кон­кур­сы малых науч­ных групп РНФ или РФФИ? Конеч­но, нет, но их адми­ни­стра­тив­ный вес будет давать им «нена­уч­ное» пре­иму­ще­ство при рас­смот­ре­нии, что их не кра­сит. Может ли руко­во­ди­тель (адми­ни­стра­тив­ный или науч­ный) быть испол­ни­те­лем у сво­е­го под­чи­нен­но­го или уче­ни­ка? В пра­ви­лах РФФИ подоб­ный запрет есть, а в РНФ нет.

Я сам, напри­мер, постес­нял­ся вклю­чить­ся в заяв­ку сво­е­го моло­до­го под­чи­нен­но­го, а один ува­жа­е­мый мной ака­де­мик, извест­ный уче­ный и адми­ни­стра­тор нау­ки, не постес­нял­ся, что, воз­мож­но, и при­ве­ло к выиг­ры­шу заяв­ки.

Раз­брос оце­нок экс­пер­тов

Что каса­ет­ся отбо­ра экс­пер­тов, то, оче­вид­но, надо созда­вать ком­пе­тент­ные и авто­ри­тет­ные кор­пу­са экс­пер­тов, но это­го мало, так как для мас­со­вых кон­кур­сов экс­пер­тов нуж­но мно­го. Одна­ко про­бле­му раз­бро­са оце­нок не решить отбо­ром. Как гово­рил герой В.М. Шук­ши­на, «Два поле­на и то сго­ра­ют неоди­на­ко­во, а вы хоти­те, чтоб люди про­жи­ли оди­на­ко­во!» Наи­луч­шее извест­ное реше­ние — про­ве­де­ние «кон­сен­сус­ных сес­сий», где рецен­зен­ты каж­дой заяв­ки встре­ча­ют­ся и обсуж­да­ют свои оцен­ки до их пол­но­го сов­па­де­ния [5]. Конеч­но, такой меха­низм для мас­со­вых кон­кур­сов слиш­ком затра­тен, даже если про­во­дить такие сес­сии толь­ко для полу­про­ход­ных заявок («серой зоны»).

Более реа­ли­стич­но при­ме­нять метод Дель­фи, орга­ни­зуя заоч­ный обмен инфор­ма­ци­ей меж­ду рецен­зен­та­ми или хотя бы одну ите­ра­цию тако­го обме­на [7]. А имен­но: при рас­сыл­ке про­ек­тов экс­пер­там их пре­ду­пре­жда­ют, что в слу­чае, если оцен­ки одно­го из экс­пер­тов будут силь­но отли­чать­ся от осталь­ных (порог зада­ет­ся так, что­бы кор­рек­ция затро­ну­ла не более 3–5% заявок), всем экс­пер­там будут разо­сла­ны их оцен­ки с обос­но­ва­ни­я­ми и пред­ло­же­но их скор­рек­ти­ро­вать или уточ­нить обос­но­ва­ния в тече­ние 2–3 дней. Оцен­ки, кото­рые после кор­рек­ции боль­ше все­го отли­ча­ют­ся от сред­них зна­че­ний, отбра­сы­ва­ют­ся.

Обя­за­тель­но нуж­но тре­бо­вать от экс­пер­тов объ­яс­не­ния при­чин, по кото­рым они выста­ви­ли наи­выс­шую или самую низ­шую оцен­ку (эти при­чи­ны не обя­за­тель­но сооб­щать авто­рам). Полез­но чле­нам ЭС знать инте­гри­ру­ю­щее мне­ние коор­ди­на­то­ра экс­пер­ти­зы по направ­ле­нию наук, хотя прак­ти­ка Сове­та по гран­там пока­зы­ва­ет, что мне­ние руко­во­ди­те­лей групп экс­пер­тов часто не име­ет реша­ю­ще­го зна­че­ния.

Что каса­ет­ся экс­перт­ной анке­ты, мне она даже понра­ви­лась: опи­са­ния гра­да­ций при­мер­но соот­вет­ству­ют гра­да­ци­ям англий­ской систе­мы REF, про­па­ган­ди­ру­е­мой наши­ми мате­ма­ти­ка­ми [11]: миро­вой лидер (world-leading); меж­ду­на­род­ный уро­вень (internationally excellent); меж­ду­на­род­но при­зна­но (internationally recognised); при­зна­но в стране (nationally recognised). Нуж­но толь­ко сде­лать это соот­вет­ствие более явным и уста­но­вить соот­вет­ству­ю­щие бал­лы (5, 4, 3, 2). Добав­ле­ние ниж­не­го уров­ня «недо­ста­точ­но инфор­ма­ции для оцен­ки» счи­таю при­ем­ле­мым. Нуж­но толь­ко при отсут­ствии инфор­ма­ции не ста­вить нуле­вой балл, а не учи­ты­вать дан­ную оцен­ку дан­но­го экс­пер­та при усред­не­нии.

Трех­этап­ная систе­ма экс­пер­ти­зы

С уче­том пере­чис­лен­ных и дру­гих сооб­ра­же­ний, ниже дела­ет­ся попыт­ка пред­ста­вить кон­ту­ры трех­этап­ной систе­мы экс­пер­ти­зы, соче­та­ю­щей в себе досто­ин­ства раз­лич­ных систем.

Систе­ма стро­ит­ся на ран­жи­ро­ва­нии заявок по зна­че­ни­ям трех групп пока­за­те­лей (кри­те­ри­ев):

1) уро­вень руко­во­ди­те­ля;

2) уро­вень (новиз­на, каче­ство) заяв­ки;

3) уро­вень реа­ли­зу­е­мо­сти про­ек­та (скла­ды­ва­ет­ся из уров­ня под­го­тов­лен­но­сти кол­лек­ти­ва и уров­ня про­ра­бо­тан­но­сти пла­на работ).

Экс­пер­ти­за про­во­дит­ся в три эта­па. На эта­пе 1 экс­перт опре­де­ля­ет у каж­дой заяв­ки по каж­до­му пока­за­те­лю чис­ло­вое зна­че­ние уров­ня, соот­вет­ству­ю­щее сле­ду­ю­щим гра­да­ци­ям пока­за­те­лей:

5 — меж­ду­на­род­ное лидер­ство;

4 — меж­ду­на­род­ное при­зна­ние;

3 — наци­о­наль­ное лидер­ство;

2 — сред­не­на­ци­о­наль­ный уро­вень;

1 или 0 — некон­ку­рен­то­спо­соб­ность;

? — недо­ста­точ­но инфор­ма­ции.

Верх­ние четы­ре уров­ня соот­вет­ству­ют уров­ням, при­ня­тым в бри­тан­ской систе­ме REF. При оцен­ке «недо­ста­точ­но инфор­ма­ции» мне­ние дан­но­го экс­пер­та по дан­но­му пока­за­те­лю не учи­ты­ва­ет­ся при рас­че­те сред­них оце­нок.

Пояс­не­ния к уров­ням: экс­пер­там сооб­ща­ют­ся реко­мен­да­ции, направ­лен­ные на уни­фи­ка­цию тре­бо­ва­ний по обла­стям нау­ки (это не пото­му, что их ком­пе­тент­ность под­вер­га­ет­ся сомне­нию, а лишь для того, что­бы повы­сить сба­лан­си­ро­ван­ность их оце­нок меж­ду обла­стей).

Напри­мер, по кри­те­рию 1 наи­выс­шую оцен­ку реко­мен­ду­ет­ся ста­вить, если руко­во­ди­тель име­ет зна­че­ния хотя бы двух из четы­рех част­ных пока­за­те­лей не менее, чем на уровне 50% от зна­че­ний пока­за­те­лей миро­вых лиде­ров по дан­ной обла­сти нау­ки. В каче­стве част­ных пока­за­те­лей мож­но брать индекс цити­ро­ва­ния, индекс Хир­ша, чис­ло пуб­ли­ка­ций за послед­ние 5 лет в жур­на­лах из Q1 (верх­ней чет­вер­ти жур­на­лов по импакт-фак­то­ру для дан­ной обла­сти нау­ки), чис­ло при­гла­шен­ных докла­дов на круп­ных меж­ду­на­род­ных кон­фе­рен­ци­ях за послед­ние 5 лет.

На эта­пе 2 заяв­ки ран­жи­ру­ют­ся по сред­не­му бал­лу отдель­но по каж­дой обла­сти нау­ки. Опре­де­ля­ют­ся кво­ты по каж­дой обла­сти и состав­ля­ет­ся шорт-лист из 2N заявок, где N — кво­та побе­ди­те­лей по дан­ной обла­сти нау­ки.

Допол­ни­тель­но нуж­но про­смат­ри­вать весь спи­сок, вклю­чая, воз­мож­но, в шорт­лист заяв­ки с несколь­ко мень­шим сред­ним бал­лом, но с боль­шим раз­бро­сом бал­лов экс­пер­тов. Под­го­тов­ку дан­ных могут выпол­нять тех­ни­че­ские работ­ни­ки (орга­ни­за­ция, сопро­вож­да­ю­щая кон­курс), но про­ве­рять и под­пи­сы­вать шорт­ли­сты долж­ны руко­во­ди­те­ли сек­ций ЭС.

Этап 3. Заяв­ки из шорт­ли­стов обсуж­да­ют­ся на засе­да­ни­ях сек­ций ЭС. Если сек­ция раз­би­ва­ет­ся на под­сек­ции, то необ­хо­ди­мо, что­бы каж­дую заяв­ку обсуж­да­ло не менее 2–3 экс­пер­тов. После обсуж­де­ния — тай­ное голо­со­ва­ние, по ито­гам кото­ро­го побе­ди­те­ля­ми при­зна­ют­ся, в соот­вет­ствии с кво­той, N заявок, набрав­ших наи­боль­шее чис­ло голо­сов.

Опре­де­ле­ние квот — это отдель­ная зада­ча [7]. Демо­кра­ти­че­ский под­ход пред­ла­га­ет РФФИ: выиг­ры­ва­ет каж­дая тре­тья заяв­ка, неза­ви­си­мо от обла­сти наук. Каза­лось бы, такой под­ход уни­вер­са­лен. Одна­ко если на вхо­де есть барьер (напри­мер, тре­бо­ва­ние пре­вы­сить порог пуб­ли­ка­ци­он­ной актив­но­сти, как на кон­кур­сах РНФ), то ситу­а­ция меня­ет­ся. Сте­пень филь­тра­ции пред­ска­зать труд­но, и барьер может ока­зать­ся раз­ной высо­ты. Выров­нять поро­ги мож­но, меняя кво­ты.

О клас­си­фи­ка­то­рах

О недо­стат­ках суще­ству­ю­щих клас­си­фи­ка­то­ров не пишут толь­ко самые лени­вые. Клас­си­фи­ка­тор дол­жен быть состав­лен спе­ци­а­ли­ста­ми, но беда в том, что пол­но­та каж­до­го спе­ци­а­ли­ста одно­сто­рон­няя, это еще Козь­ма Прут­ков заме­тил. И если соби­ра­ют­ся вме­сте спе­ци­а­ли­сты высо­ко­го уров­ня и начи­на­ют что-то пред­ла­гать, то каж­дый не лезет в чужую область, а свою раз­ду­ва­ет. Поэто­му мно­гие клас­си­фи­ка­то­ры, в том чис­ле и пред­ла­га­е­мый комис­си­ей по кон­тро­лю за рефор­ма­ми в сфе­ре нау­ки, недо­ста­точ­но сба­лан­си­ро­ва­ны и меж­ду круп­ны­ми обла­стя­ми (верх­не­го уров­ня), и внут­ри этих обла­стей.

Вооб­ще, клас­си­фи­ка­тор менять — это труд­ное, небла­го­дар­ное и без­на­деж­ное дело. Пра­виль­ней, если он меня­ет­ся очень мед­лен­но, эво­лю­ци­он­но. Я участ­во­вал в обсуж­де­нии руси­фи­ка­ции клас­си­фи­ка­то­ра OECD в Сове­те по гран­там — мы заму­ча­лись. Он не нра­вил­ся всем! В кон­це кон­цов было реше­но тре­тий уро­вень про­сто не руси­фи­ци­ро­вать.

Полез­ный пост «Песнь о клас­си­фи­ка­то­рах» опуб­ли­ко­вал в сво­ем бло­ге Иван Стер­ли­гов. Вот что он пишет про ГРНТИ [12]: «Его фиш­ка в том, что это клас­си­фи­ка­тор не столь­ко нау­ки, сколь­ко рос­сий­ской нау­ки. В нем три уров­ня, все с отчет­ли­вым совет­ским душ­ком». В этом наша беда: каж­дый клас­си­фи­ци­ру­ет не нау­ку, а рос­сий­скую нау­ку, а еще чаще — свое пред­став­ле­ние о нау­ке. И в боль­шин­стве новых обла­стей спе­ци­а­ли­стов в Рос­сии — с гуль­кин нос. Что с этим делать? Не знаю.

Все-таки уве­рен, что клас­си­фи­ка­тор не глав­ная про­бле­ма. Да, по хоро­ше­му клас­си­фи­ка­то­ру лег­че назна­чать экс­пер­тов на заяв­ки. Но их мож­но назна­чать и ина­че: по клю­че­вым сло­вам. Такой под­ход отра­бо­тан, напри­мер, орга­ни­за­то­ра­ми круп­ней­ших кон­фе­рен­ций IEEE по систе­мам управ­ле­ния (таких кон­фе­рен­ций еже­год­но про­во­дит­ся три: CDC, ACC и MSC, с общим чис­лом докла­дов око­ло 3 тыс.) [9–10].

База дан­ных авто­ров этих кон­фе­рен­ций накап­ли­ва­ет­ся уже око­ло 20 лет и содер­жит при­мер­но 70 тыс. людей со сво­и­ми клю­че­вы­ми сло­ва­ми, выбран­ны­ми из спис­ка клю­че­вых слов IEEE, состав­лен­но­го тех­ни­че­ски­ми коми­те­та­ми. При­чем автор дол­жен ука­зать сло­во (фра­зу) пер­во­го, вто­ро­го и тре­тье­го при­о­ри­те­та. Так вот чело­век, веду­щий каж­дую ста­тью, назна­ча­ет­ся маши­ной слу­чай­но! Клас­си­фи­ка­тор вооб­ще не нужен.

А сей­час, после про­шед­ших кон­кур­сов в РНФ: сло­жи­лась очень удоб­ная ситу­а­ция для реше­ния про­бле­мы отбо­ра экс­пер­тов, посколь­ку было пода­но око­ло 15 тыс. заявок и руко­во­ди­те­лей мно­гих из них мож­но при­гла­шать в каче­стве экс­пер­тов. Надо толь­ко сле­дить, что­бы экс­пер­ты сами удо­вле­тво­ря­ли кри­те­ри­ям допус­ка заявок к кон­кур­су, напри­мер по пуб­ли­ка­ци­он­ной актив­но­сти.

Мне кажет­ся, зада­ча повы­ше­ния уров­ня экс­пер­ти­зы науч­ных про­ек­тов до луч­ших миро­вых образ­цов вполне по пле­чу орга­ни­за­то­рам кон­кур­сов. Нуж­но толь­ко при­слу­ши­вать­ся к мне­ни­ям уче­ных. Если же эти мне­ния раз­ли­ча­ют­ся, то надо их балан­си­ро­вать, а не отвер­гать под пред­ло­гом, что «уче­ные сами не могут меж­ду собой дого­во­рить­ся».

1. «Это такие хоро­шие люди, как им мож­но не дать денег». Газета.Ру. 16.07.2014. www.gazeta.ru/science/2014/07/16_a_6116337.shtml

2. В ряду неря­до­вых. РНФ под­вел ито­ги кон­кур­са для суще­ству­ю­щих науч­ных лабо­ра­то­рий и кафедр. Поиск, № 29–30(2014). www.poisknews.ru/theme/science-politic/11167/

3. Заяв­ле­ние Сове­та ОНР по ито­гам кон­кур­са науч­ных групп РНФ. ТрВ-Нау­ка № 155, 03.06.2014. http://trv-science.ru/2014/06/03/zamestitelyu-predsedatelya-soveta-pri-prezidente-rf-po-nauke-i-obrazovaniyu-a-a-fursenko/

4. Цир­ли­на Г.А. Пока­ян­ное (замет­ки об экс­пер­ти­зе про­ек­тов в РНФ). ТрВ-Нау­ка № 156, 17.06.2014. http://trv-science.ru/2014/06/17/pokayannoe-zametki-ob-ehkspertize-proektov-v-rnf/

5. Фрад­ков А.Л. Как это дела­лось в Брюс­се­ле. Замет­ки о рецен­зи­ро­ва­нии науч­ных про­ек­тов. ТрВ-Нау­ка № 60, 17.08.2010. http://trv-science.ru/2010/08/17/kak-eto-delalos-v-bryussele-zametki-ob-ekspertize-proektov-7-j-rp-es/

6. Фрад­ков А. Л. Блеск и нище­та фор­маль­ных кри­те­ри­ев. ТрВ-Нау­ка № 122, 12.02.2013. http://trv-science.ru/2013/02/12/blesk-i-nishheta-formalnykh-kriteriev/

7. Фрад­ков А. Л. Блеск и нище­та фор­маль­ных кри­те­ри­ев науч­ной экс­пер­ти­зы. Управ­ле­ние боль­ши­ми систе­ма­ми. Спец. выпуск 44. Нау­ко­мет­рия и экс­пер­ти­за в управ­ле­нии нау­кой, 2013, с.346–360.

8. Фрад­ков А.Л. Как опуб­ли­ко­вать хоро­шую ста­тью и откло­нить плохую. Авто­ма­ти­ка и теле­ме­ха­ни­ка, 2003, № 10, с. 149–157.

Фрад­ков А.Л. Меж­ду­на­род­ные кон­фе­рен­ции по систе­мам управ­ле­ния: тра­ди­ции и тен­ден­ции. Авто­ма­ти­ка и теле­ме­ха­ни­ка, 2011, № 1, с. 174–178.

9. Фрад­ков А.Л. Науч­ные кон­фе­рен­ции по управ­ле­нию: цель или сред­ство? Авто­ма­ти­ка и теле­ме­ха­ни­ка, 2012, № 9, с.149–158.

10.  Схе­ма рабо­ты систе­мы REF. www.saveras.ru/wp-content/uploads/2014/04/Схема-работы-системы-REF.pdf

11. Стер­ли­гов И. Песнь о клас­си­фи­ка­то­рах. http://isterligov.blogspot.ru/2013/09/oecd-wos-scopus.html

Если вы нашли ошиб­ку, пожа­луй­ста, выде­ли­те фраг­мент тек­ста и нажми­те Ctrl+Enter.

Связанные статьи

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (Пока оценок нет)
Загрузка...
 
 

Метки: , , , , ,

 

9 комментариев

  • начинающий алкоголик:

    пра­виль­но. Моло­дец автор…
    Толь­ко экс­пер­ты эти не смо­гут до сере­ди­ны его замет­ку дочи­тать..
    Есть еще одно палево.…анкета экс­перт­ная тако­ва, что если чел док и проф,
    то он сра­зу 75% полу­ча­ет, даже если при этом пол­ный м…к

  • начинающий алкоголик:

    есть еще одна деталь…пока мы все это «трем»…экспертов ско­ро мы будем из сало­нов сото­вой свя­зи брать..тех, кого туда спу­сти­ли вме­сто их нор­маль­но­го пути..

  • начинающий алкоголик:

    Понимаете.…есть еще такой фак­тор – ВРЕМЯ…
    С ним у нас не считаются…но он опре­де­ля­ет все.

  • жук:

    В стране, где абсо­лют­но все выбо­ры фаль­си­фи­ци­ру­ют­ся, даже такой мело­чи как талис­ман игр в Сочи, совсем не три­ви­аль­ное голо­со­ва­ние за луч­шие заяв­ки неиз­беж­но пре­вра­ща­ет­ся в мыль­ную опе­ру с пред­ска­зу­е­мы­ми жало­ба­ми в кон­це.
    Ждем сле­ду­ю­щих серий)

  • Denny:

    «Систе­ма стро­ит­ся на ран­жи­ро­ва­нии заявок по зна­че­ни­ям трех групп пока­за­те­лей (кри­те­ри­ев):
    1) уро­вень руко­во­ди­те­ля;
    2) уро­вень (новиз­на, каче­ство) заяв­ки;
    3) уро­вень реа­ли­зу­е­мо­сти про­ек­та (скла­ды­ва­ет­ся из уров­ня под­го­тов­лен­но­сти кол­лек­ти­ва и уров­ня про­ра­бо­тан­но­сти пла­на работ).»

    Я бы пер­вый пункт убрал. Вер­нее, вклю­чил его в тре­тий. Уро­вень руко­во­ди­те­ля име­ет зна­че­ние имен­но для реа­ли­зу­е­мо­сти про­ек­та. А не как само­сто­я­тель­ная вели­чи­на.

    • ALF:

      Все-таки реша­ю­щую роль в успе­хе круп­но­го про­ек­та игра­ет репу­та­ция и опыт лиде­ра. Если лидер сла­бый, то и про­ект сла­бый. Даль­ше неза­чем рецен­зи­ро­вать. И про­ве­рить уро­вень лиде­ра про­ще все­го, так что выде­ле­ние уров­ня лиде­ра в отдель­ный кри­те­рий оправ­да­но.

      • Denny:

        ???? А я что напи­сал?

        «Уро­вень руко­во­ди­те­ля име­ет зна­че­ние имен­но для реа­ли­зу­е­мо­сти про­ек­та.»

  • влад:

    Фрад­ков- спец!
    И напи­са­но «иде­аль­но»
    Но есть еще одна шту­ка, кото­рая прак­ти­че­ски мало при­ме­ня­ет­ся,
    но кото­рая очень важ­на по сути.
    Этр обрат­ная связь экс­пер­та и заяви­те­ля.
    Оч. часто экс­перт мало «пет­рит» в тон­ко­стях заяв­ки.
    И ему «тупо» нуж­но помочь.Просто снять пер­вые набе­жав­шие вопро­сы
    Это и дол­жен сде­лать заяви­тель
    Поэто­му пред­ла­гаю
    уси­лить про­цесс экс­пер­ти­зы путем вве­де­ния сле­ду­ю­щих 3х эта­пов:
    1й этап- экс­пер­ты (в поло­жен­ные сро­ки) пишут свой про­ект реше­ния по заяв­ке и отсы­ла­ют заяви­те­лю.
    Тот дает сроч­ный (1−2 дня) моти­ви­ро­ван­ный ком­мен­та­рий по про­ек­ту реше­ния.
    2й этап- эти ком­мен­та­рий рас­смат­ри­ва­ет и сопо­став­ля­ет и согла­со­вы­ва­ют все рабо­чие экс­пер­ты, при­ни­мав­шие уча­стия в под­го­тов­ке про­ек­та реше­ния.
    3й этап: заклю­чи­тель­ный совет экс­пер­тов при­ни­ма­ет реше­ние на осно­ве сопо­став­ле­ния
    про­ек­та реше­ния и ком­мен­та­ри­ев заяви­те­ля.
    Чуть более слож­но­ва­то, чем пред­ла­га­ет Фрад­ков, но
    Ведь «экс­пер­ти­за без диа­ло­га – это тан­цы без музы­ки»!!
    Т.е. что хочу, то и воро­чу!!!!!
    Коро­че, тов. Фрад­ков и чле­ны ОНР, давай­те про­ра­бо­та­ем этот вопрос и напи­шем в РНФ!!

  • Афонюшкин Василий:

    «Опре­де­ле­ние квот — это отдель­ная зада­ча [7]. Демо­кра­ти­че­ский под­ход пред­ла­га­ет РФФИ: выиг­ры­ва­ет каж­дая тре­тья заяв­ка, неза­ви­си­мо от обла­сти наук.» Это что полу­ча­ет­ся – заяв­ки по био­ло­ги­че­ским нау­кам пишут меди­ки, сель­ско­хо­зяй­ствен­ни­ки и чистые био­ло­ги, уве­ли­чи­вая кво­ты по био­ло­гии. А, потом гран­ты выиг­ры­ва­ют пре­иму­ще­ствен­но био­ло­ги из РАН.… (напри­мер, в сред­нем, в Век­то­ре п.Кольцово про­хо­дит каж­дая шестая заяв­ка, в алтай­ском ГУ – каж­дая два­дца­тая, у нас каж­дая 27 заяв­ка). Полу­ча­ет­ся что неРА­Нов­цы и неМ­ГУш­ни­ки име­ют мало шан­сов полу­чить грант, но их заяв­ки уве­ли­чи­ва­ют кво­ты для «чистых» био­ло­гов из РАН и они долж­ны выиг­ры­вать чаще чем осталь­ные уче­ные (физи­ки, хими­ки). Если не пред­став­ля­ет­ся воз­мож­ным рас­ши­рить клас­си­фи­ка­тор или сни­зить лоб­бизм, не сле­ду­ет ли для био­ло­гов сде­лать пони­жа­ю­щий коэф­фи­ци­ент?

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Недопустимы спам, оскорбления. Желательно подписываться реальным именем. Аватары - через gravatar.com