За хайпом — дефекты дизайна, плохое исполнение и сомнительная публикация

В октябре сего года мы отправили в The Lancet письмо с предложением отозвать опубликованную в этом, одном из ведущих, медицинском научном журнале статью Д. Ю. Логунова и соавторов [1] об испытании вакцины против COVID-19, разработанной НИЦ эпидемиологии и микробиологии им. Н. Ф. Гамалеи. Основанием для нашего письма послужило то, что в сентябре мы обратились к авторам с просьбой предоставить исходные данные исследования, как было ими обещано в Data Sharing Statement в самой статье. Уже более двух месяцев авторы статьи не отвечают на нашу просьбу. Конечно, они могли бы отказать в предоставлении данных, но и такого ответа мы не удостоились.

Мы считаем это грубым нарушением норм публикационной этики и, соответственно, призвали редактора журнала отозвать статью, как это предусмотрено поддерживаемым журналом международным стандартом публикационной этики Committee on Publication Ethics. Наше письмо не было опубликовано, а события, связанные с разработкой вакцин, развертываются быстро — в стране проводится вакцинация вне клинического испытания, что требует обнародования причин нашей озабоченности. Ниже мы приводим анализ недостатков исследования, которые выявляются непосредственно в публикации и приложении к ней.

  1. Критериями включения пациентов в исследование были отрицательные тесты на антитела G и М, а также РНК вируса. Продукт РЗН 2020/10393 назван в статье тестовой системой для определения IgG, но два других продукта не были указаны. Возможно, вирусную РНК определяли с помощью продукта РЗН 2020/10550 института Гамалеи. Операционные характеристики отдельных тестов неизвестны, как и общая диагностическая точность набора тестов. Преаналитические параметры (материал зонда, биоматериал, техника отбора проб) также неизвестны, хотя от них зависит диагностическая точность теста. Следовательно, неизвестно, сколько результатов тестов могли быть ложноотрицательными. При повторном тестировании такие случаи могли бы оказаться истинно-положительными.
  2. В результате скрининга из 120 добровольцев 100 были признаны соответствующими критериям включения и исключения, но только 76 из них были включены в исследование. Авторы не сообщают, почему 24 добровольца были исключены, а блок-схема проведения исследования отсутствует. Методы формирования групп как в фазе 1, так и в фазе 2 не описаны. Всё это указывает на высокую вероятность смещенности выборки.
  3. Первичный критерий эффективности (сероконверсия) является суррогатным, его связь с клинической эффективностью (защитными свойствами вакцины) неизвестна. Желаемый уровень сероконверсии не установлен. Результат, полученный для этого исхода, составляет 100% сероконверсии. Однако для выборки из 20 пациентов точный 95-процентный доверительный интервал для этой величины составляет 83–100% и недопустимо широк.
  4. В качестве первичного критерия безопасности заявлено количество пациентов с нежелательными явлениями (НЯ), однако перечень регистрируемых НЯ отсутствует, а доля пациентов с НЯ, признанная приемлемой для доказательства безопасности вакцины, не указана. При этом количество пациентов с НЯ в статье не сообщается, приведены только относительные частоты НЯ, которые варьируют от 0% до 100%. Это значит, что каждый участник испытания имел по крайней мере одно НЯ. Но наиболее важно то, что вероятность пропуска серьезных НЯ в выборках из 20 больных достигает 17%.
  5. Текст, описывающий расчет размера выборки, неполон. Размер выборки был рассчитан для ожидаемой частоты сероконверсии 99%, но другие параметры этого расчета не приведены. Д. Ю. Логунов и соавторы высчитали необходимое число пациентов 16, но при таком числе пациентов любые результаты испытания заведомо оказываются недопустимо неопределенными.
  6. Недостаточно описана выборка из 4817 пациентов, перенесших заболевание в легкой и среднетяжелой форме, плазма которых использовалась для внешнего сравнения (плазма была взята через месяц после «выздоровления»). Количество серонегативных и серопозитивных случаев в этой группе не указано.
  7. Есть несколько проблем с анализом данных, среди них главные:

а) таблицы S3–S6 содержат оценки статистических параметров для значений антител в день 0 равные 1 и 1,250, в то время как в тексте статьи авторы сообщают о том, что «у всех добровольцев не было антител к SARS-CoV-2 в день 0» [1]. Этому нет объяснений. Результаты, приведенные в этих таб­лицах, можно воспроизвести, если использовать данные из рис. 2 и заменить нули на 1. Возможно, авторы сделали такую замену с целью расчета средних геометрических, но это можно рассматривать как фальсификацию данных;

Рис. 2 из статьи [1]
Рис. 2 из статьи [1]

б) значения средних геометрических в тексте не соответствуют величинам на рисунках и не согласуются с воспроизведенными оценками. Например, для фазы 2 испытания замороженного препарата среднее геометрическое титра IgG на 28-й день составляет 3442 в тексте, около 6400 на рис. 2-B и 5382 при использовании индивидуальных данных с рис. 2-В. Есть аналогичные расхождения и для других дней;

в) дисперсионный анализ для повторных измерений не проводился. Также не применялись необходимые в таких случаях поправки на множественные сравнения.

  1. Авторы сообщают о нескольких ограничениях своего исследования. Согласно критериям включения в исследовании могли участвовать лица в возрасте от 18 до 60 лет. Авторы называют ограничением исследования молодой возраст участников, средние значения которого находятся в диапазоне от 25 до 31 лет. Однако максимальный возраст участников не указан. Судя по всему, имело место неэтичное включение военнослужащих, которых было легко набрать для исследования.

Еще одним обсуждаемым Д. Ю. Логуновым и соавторами ограничением является небольшой размер выборки, что противоречит их собственному описанию несколькими абзацами выше расчета размера выборки при планировании исследования.

Мы считаем, что низкое методологическое качество, дефекты дизайна исследования, ошибки в анализе данных, плохое описание исследования ставят под вопрос основные заключения о безопасности и эффективности вакцины. Эти выводы основаны на изучении опубликованной статьи, тогда как независимый анализ первичных данных мог бы дать ответы на некоторые из обсуждаемых вопросов. Однако авторы, которым, видимо, есть что скрывать, не предоставляют к ним доступ вопреки заявленным обязательствам, и это — дополнительный аргумент в пользу отзыва статьи. То, что The Lancet не отзывает статью и ограничивает ее критику, может быть связано с недавним болезненным опытом журнала — публикацией статьи об эффективности гидроксихлорохина, описывающей анализ, выполненный по большой базе данных, которая в действительности не существовала [2]. Ту статью пришлось отозвать и признать неполноценность редакционной политики, в том числе и в отношении авторских обязательств предоставить доступ к первичным данным. И вот уже второй прокол The Lancet в этом году…

Уже во время подготовки этой публикации для ТрВ-Наука Pfizer и BioNTech сообщили о промежуточном анализе результатов продолжающегося испытания вакцины против COVID-19. При накопленном количестве заболевших 94 человека вакцина показала эффективность 90%. Через день разработчики вакцины «Спутник V» сообщили, что их продукт имеет эффективность 92% [3]. Это сообщение также основано на промежуточном анализе данных продолжающегося испытания. Однако важно, что промежуточная оценка эффективности не была заявлена при регистрации протокола испытания.

Кроме того, 92% эффективности получены расчетом на основании всего 20 случаев. В момент анализа включенные в него участники получили только первую дозу вакцины. Это совершенно неприемлемая, даже смехотворная политическая акция по навязыванию соревнования разрабатываемых вакцин с нарушением важнейших норм проведения испытаний. Создание атмосферы гонки делает разработчиков «Спутника V» заложниками сделанных неосторожных заявлений, угрожает доброкачественному проведению испытания вакцины и, следовательно, создает опасность для здоровья россиян.

Василий Власов, докт. мед. наук, профессор НИУ ВШЭ
Ольга Реброва, докт. мед. наук, профессор РНИМУ им. Н. И. Пирогова
Валерий Аксёнов, канд. мед. наук, научный редактор издательства «Бионика Медиа»

Авторы — вице-президенты Общества специалистов доказательной медицины (osdm.org)

  1. Logunov D. Y., et al. Safety and immunogenicity of an rAd26 and rAd5 vector-based heterologous prime-boost COVID-19 vaccine in two formulations: two open, non-randomised phase 1/2 studies from Russia // The Lancet. September 26, 2020. V. 396. Iss. 10255. P. 887–897. (Published online September 4, 2020.) doi.org/10.1016/S0140–6736(20)31866–3. DOI 10.1016/S0140-6736(20)31866-3. Accessed 13.11.2020.
  2. The Editors of the Lancet Group. Learning from a retraction. October 10, 2020, September 17, 2020. V. 396. Iss. 10257. P. 1056. doi.org/10.1016/S0140-6736(20)31958-9. Accessed 13.11.2020.
  3. Эффективность вакцины «Спутник V» против коронавируса составила 92% в ходе первого промежуточного анализа данных фазы III клинических исследований в РФ. Дата обращения: 14.11.2020.
Подписаться
Уведомление о
guest

216 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
trackback

[…] на сайтах ОСДМ и независимого научно-популярного издания «Троицкий вариант — […]

trackback

[…] Sputnik V coronavirus vaccine as “completely unacceptable” and “ridiculous” in an open letter raising new concerns over a lack of sufficient data on its safety and effectiveness. The experts […]

trackback

[…] marraskuuta päivätyn kirjeen mukaan tapa, jolla rokote on kehitetty, on ollut ”täysin […]

trackback

[…] Sputnik V coronavirus vaccine as “completely unacceptable” and “ridiculous” in an open letter raising new concerns over a lack of sufficient data on its safety and […]

trackback

[…] на сайтах ОСДМ и независимого научно-популярного издания “Троицкий вариант – […]

trackback

[…] Публиковать обращение российских медиков Lancet отказался. Авторов заверили, что текст открытого письма подробно обсудили на редакторском собрании, но в итоге «приоритет был отдан другим заявителям». В результате письмо было опубликовано на сайтах ОСДМ и независимого научно-популярного издания «Троицкий вариант — Наука». […]

trackback

[…] “This completely unacceptable, even ridiculous, political move to create competition between vaccines is a violation of the most important testing standards,” the letter’s authors say. […]

Alex
Alex
3 года (лет) назад

Надеюсь, авторы не станут утверждать, что они ожидали какого-то другого результата.

trackback

[…] “This utterly unacceptable, even ridiculous, political transfer to create competitors between vaccines is a violation of a very powerful testing requirements,” the letter’s authors say. […]

Владимир Аксайский
Владимир Аксайский
3 года (лет) назад

Любопытно наблюдать за цирковой битвой фармабаронов, – достойное начало завершения пандемии. Интересно, в свое время советский спутник был первым,- и здорово подстегнул планетарные усилия выбраться в открытый космос, – российская вакцина-спутник, похоже, в той же роли. 

Леонид Коганов
Леонид Коганов
3 года (лет) назад
Владимир Аксайский
Владимир Аксайский
3 года (лет) назад
В ответ на:  Леонид Коганов

Спасибо за ссылку, – любопытная. Заглянул в Википедию – что такое «Р-Фарм» и кто хозяин. Оказалось , Алексей Репик – похоже, неординарная личность – сумел создать «Р-Фарм» на два года раньше окончания учебы в НИУ ВШЭ. На фото напомнил мне молодого Германа Грефа с усами, – наверно, такой же дальнозоркий и хитрый, раз сумел договориться с «АстраЗенека».

Леонид Коганов
Леонид Коганов
3 года (лет) назад

Пусть, имхо, хитрят, как хотят. Но пусть при этом дают недорогую, основательно проверенную и, главное, общедоступную вакцину.
По возможности в сжатые сроки (в Америке об’явлена вакцинация “Пфайзером”).
Л.К.

Владимир Аксайский
Владимир Аксайский
3 года (лет) назад
В ответ на:  Леонид Коганов

Бизнес-комбинаторика неумолима – потребителю предлагается выбрать любое сочетание из трех элементов по два. Элементы – “быстро, недорого, качественно”, сочетания – “быстро и недорого”, “быстро и качественно” и “недорого и качественно”. Вы, похоже, за последнее, – тогда придется подождать, – это не быстро.

Леонид Коганов
Леонид Коганов
3 года (лет) назад

Спасибо, что напомнили старый анекдот о ровно двух, не более, ипостасях из трех возможных времен гитлеровской Германии, увы, к несчастью, не потерявший актуальность.
Что касаемо пишущего, то ратую прежде всего за равный доступ (к благам Человечества, часть которых суть изобретенные необходимые ныне вакцины).
Л.К.

Владимир Аксайский
Владимир Аксайский
3 года (лет) назад
В ответ на:  Леонид Коганов

По всем народным приметам, доступ будет не только равным, но и принудительным.
Правозащитникам, похоже, придется решать благородную кибернетическую задачу – гармонизировать интересы распределителей и трех групп потребителей антипандемических благ Человечества: тех кто за, кто против и кому наплевать. 

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (20 оценок, среднее: 3,05 из 5)
Загрузка...