За хайпом — дефекты дизайна, плохое исполнение и сомнительная публикация

В октябре сего года мы отправили в The Lancet письмо с предложением отозвать опубликованную в этом, одном из ведущих, медицинском научном журнале статью Д. Ю. Логунова и соавторов [1] об испытании вакцины против COVID-19, разработанной НИЦ эпидемиологии и микробиологии им. Н. Ф. Гамалеи. Основанием для нашего письма послужило то, что в сентябре мы обратились к авторам с просьбой предоставить исходные данные исследования, как было ими обещано в Data Sharing Statement в самой статье. Уже более двух месяцев авторы статьи не отвечают на нашу просьбу. Конечно, они могли бы отказать в предоставлении данных, но и такого ответа мы не удостоились.

Мы считаем это грубым нарушением норм публикационной этики и, соответственно, призвали редактора журнала отозвать статью, как это предусмотрено поддерживаемым журналом международным стандартом публикационной этики Committee on Publication Ethics. Наше письмо не было опубликовано, а события, связанные с разработкой вакцин, развертываются быстро — в стране проводится вакцинация вне клинического испытания, что требует обнародования причин нашей озабоченности. Ниже мы приводим анализ недостатков исследования, которые выявляются непосредственно в публикации и приложении к ней.

  1. Критериями включения пациентов в исследование были отрицательные тесты на антитела G и М, а также РНК вируса. Продукт РЗН 2020/10393 назван в статье тестовой системой для определения IgG, но два других продукта не были указаны. Возможно, вирусную РНК определяли с помощью продукта РЗН 2020/10550 института Гамалеи. Операционные характеристики отдельных тестов неизвестны, как и общая диагностическая точность набора тестов. Преаналитические параметры (материал зонда, биоматериал, техника отбора проб) также неизвестны, хотя от них зависит диагностическая точность теста. Следовательно, неизвестно, сколько результатов тестов могли быть ложноотрицательными. При повторном тестировании такие случаи могли бы оказаться истинно-положительными.
  2. В результате скрининга из 120 добровольцев 100 были признаны соответствующими критериям включения и исключения, но только 76 из них были включены в исследование. Авторы не сообщают, почему 24 добровольца были исключены, а блок-схема проведения исследования отсутствует. Методы формирования групп как в фазе 1, так и в фазе 2 не описаны. Всё это указывает на высокую вероятность смещенности выборки.
  3. Первичный критерий эффективности (сероконверсия) является суррогатным, его связь с клинической эффективностью (защитными свойствами вакцины) неизвестна. Желаемый уровень сероконверсии не установлен. Результат, полученный для этого исхода, составляет 100% сероконверсии. Однако для выборки из 20 пациентов точный 95-процентный доверительный интервал для этой величины составляет 83–100% и недопустимо широк.
  4. В качестве первичного критерия безопасности заявлено количество пациентов с нежелательными явлениями (НЯ), однако перечень регистрируемых НЯ отсутствует, а доля пациентов с НЯ, признанная приемлемой для доказательства безопасности вакцины, не указана. При этом количество пациентов с НЯ в статье не сообщается, приведены только относительные частоты НЯ, которые варьируют от 0% до 100%. Это значит, что каждый участник испытания имел по крайней мере одно НЯ. Но наиболее важно то, что вероятность пропуска серьезных НЯ в выборках из 20 больных достигает 17%.
  5. Текст, описывающий расчет размера выборки, неполон. Размер выборки был рассчитан для ожидаемой частоты сероконверсии 99%, но другие параметры этого расчета не приведены. Д. Ю. Логунов и соавторы высчитали необходимое число пациентов 16, но при таком числе пациентов любые результаты испытания заведомо оказываются недопустимо неопределенными.
  6. Недостаточно описана выборка из 4817 пациентов, перенесших заболевание в легкой и среднетяжелой форме, плазма которых использовалась для внешнего сравнения (плазма была взята через месяц после «выздоровления»). Количество серонегативных и серопозитивных случаев в этой группе не указано.
  7. Есть несколько проблем с анализом данных, среди них главные:

а) таблицы S3–S6 содержат оценки статистических параметров для значений антител в день 0 равные 1 и 1,250, в то время как в тексте статьи авторы сообщают о том, что «у всех добровольцев не было антител к SARS-CoV-2 в день 0» [1]. Этому нет объяснений. Результаты, приведенные в этих таб­лицах, можно воспроизвести, если использовать данные из рис. 2 и заменить нули на 1. Возможно, авторы сделали такую замену с целью расчета средних геометрических, но это можно рассматривать как фальсификацию данных;

Рис. 2 из статьи [1]
Рис. 2 из статьи [1]

б) значения средних геометрических в тексте не соответствуют величинам на рисунках и не согласуются с воспроизведенными оценками. Например, для фазы 2 испытания замороженного препарата среднее геометрическое титра IgG на 28-й день составляет 3442 в тексте, около 6400 на рис. 2-B и 5382 при использовании индивидуальных данных с рис. 2-В. Есть аналогичные расхождения и для других дней;

в) дисперсионный анализ для повторных измерений не проводился. Также не применялись необходимые в таких случаях поправки на множественные сравнения.

  1. Авторы сообщают о нескольких ограничениях своего исследования. Согласно критериям включения в исследовании могли участвовать лица в возрасте от 18 до 60 лет. Авторы называют ограничением исследования молодой возраст участников, средние значения которого находятся в диапазоне от 25 до 31 лет. Однако максимальный возраст участников не указан. Судя по всему, имело место неэтичное включение военнослужащих, которых было легко набрать для исследования.

Еще одним обсуждаемым Д. Ю. Логуновым и соавторами ограничением является небольшой размер выборки, что противоречит их собственному описанию несколькими абзацами выше расчета размера выборки при планировании исследования.

Мы считаем, что низкое методологическое качество, дефекты дизайна исследования, ошибки в анализе данных, плохое описание исследования ставят под вопрос основные заключения о безопасности и эффективности вакцины. Эти выводы основаны на изучении опубликованной статьи, тогда как независимый анализ первичных данных мог бы дать ответы на некоторые из обсуждаемых вопросов. Однако авторы, которым, видимо, есть что скрывать, не предоставляют к ним доступ вопреки заявленным обязательствам, и это — дополнительный аргумент в пользу отзыва статьи. То, что The Lancet не отзывает статью и ограничивает ее критику, может быть связано с недавним болезненным опытом журнала — публикацией статьи об эффективности гидроксихлорохина, описывающей анализ, выполненный по большой базе данных, которая в действительности не существовала [2]. Ту статью пришлось отозвать и признать неполноценность редакционной политики, в том числе и в отношении авторских обязательств предоставить доступ к первичным данным. И вот уже второй прокол The Lancet в этом году…

Уже во время подготовки этой публикации для ТрВ-Наука Pfizer и BioNTech сообщили о промежуточном анализе результатов продолжающегося испытания вакцины против COVID-19. При накопленном количестве заболевших 94 человека вакцина показала эффективность 90%. Через день разработчики вакцины «Спутник V» сообщили, что их продукт имеет эффективность 92% [3]. Это сообщение также основано на промежуточном анализе данных продолжающегося испытания. Однако важно, что промежуточная оценка эффективности не была заявлена при регистрации протокола испытания.

Кроме того, 92% эффективности получены расчетом на основании всего 20 случаев. В момент анализа включенные в него участники получили только первую дозу вакцины. Это совершенно неприемлемая, даже смехотворная политическая акция по навязыванию соревнования разрабатываемых вакцин с нарушением важнейших норм проведения испытаний. Создание атмосферы гонки делает разработчиков «Спутника V» заложниками сделанных неосторожных заявлений, угрожает доброкачественному проведению испытания вакцины и, следовательно, создает опасность для здоровья россиян.

Василий Власов, докт. мед. наук, профессор НИУ ВШЭ
Ольга Реброва, докт. мед. наук, профессор РНИМУ им. Н. И. Пирогова
Валерий Аксёнов, канд. мед. наук, научный редактор издательства «Бионика Медиа»

Авторы — вице-президенты Общества специалистов доказательной медицины (osdm.org)

  1. Logunov D. Y., et al. Safety and immunogenicity of an rAd26 and rAd5 vector-based heterologous prime-boost COVID-19 vaccine in two formulations: two open, non-randomised phase 1/2 studies from Russia // The Lancet. September 26, 2020. V. 396. Iss. 10255. P. 887–897. (Published online September 4, 2020.) doi.org/10.1016/S0140–6736(20)31866–3. DOI 10.1016/S0140-6736(20)31866-3. Accessed 13.11.2020.
  2. The Editors of the Lancet Group. Learning from a retraction. October 10, 2020, September 17, 2020. V. 396. Iss. 10257. P. 1056. doi.org/10.1016/S0140-6736(20)31958-9. Accessed 13.11.2020.
  3. Эффективность вакцины «Спутник V» против коронавируса составила 92% в ходе первого промежуточного анализа данных фазы III клинических исследований в РФ. Дата обращения: 14.11.2020.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

 См. также:

  • Ольга Матвеева17.11.2020 Вакцины против коронавируса: настоящее и будущее. Часть I Вторая волна коронавируса набирает силу как в России, так и во многих других странах. К счастью, большая часть людей болеет бессимптомно или легко. Однако так везет не всем: вирус, получивший научное название SARS-CoV-2, способен не только провоцировать иммунную систему заболевшего убивать или серьезно повреждать его организм в острой фазе заболевания, но также может вызывать долго длящиеся осложнения — так называемый долгий ковид.
  • Александр Панчин25.08.2020 Зарегистрировано — значит, работает? Одна из самых обсуждаемых тем последних дней — отечественная прививка от коронавируса SARS-CoV-2, вызывающего COVID-19. Начну с хорошего: создатель вакцины, получившей название Sputnik V, Денис Логунов дал подробное интервью «Медузе», и ответы специалиста производят хорошее впечатление. Но чтобы считать прививку эффективной и безопасной, одного интервью недостаточно. Нужны сухие факты, а их, увы, мало.
  • Ольга Матвеева01.12.2020 Вакцины против коронавируса: настоящее и будущее. Часть II Иногда успех в создании эффективной и безопасной вакцины не приходит десятилетиями, несмотря на огромные усилия и упорный труд исследователей. Так, до сих пор у нас нет эффективных вакцин от ВИЧ-инфекции или гепатита С, хотя разработка их в разных странах ведется не один десяток лет. Именно поэтому череда сообщений об успехах испытаний коронавирусных вакцин — очень хорошая новость.
  • Юрий Гольцев21.04.2020 Внутриклеточный театр боевых действий Нынешняя коронавирусная инфекция — это две болезни. Первая — вирусная инфекция верхних дыхательных путей — проходит практически без проявлений. Она запускает глубокое поражение легких, которое в основном уже развивается самостоятельно. Первую стадию можно было бы лечить антивирусными препаратами, но в отсутствие симптомов совершенно непонятно, кого именно лечить. Вторая стадия — тяжелая болезнь, острое воспаление легких — не лечится. Антивирусные препараты на нее почти не действуют, поскольку от вируса она уже не зависит.
Подписаться
Уведомление о
guest
180 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Aleksandr Kuzmin
18 дней(-я) назад

Последняя сноска в статье не открывается. Убрано с сайта «Спутника»?

газета "Троицкий вариант - Наука"
В ответ на:  Aleksandr Kuzmin

работает, просто слэш концевой не был поставлен, без этого не работало (особенность настроек на том сервере…)

Сов OK
Сов OK
18 дней(-я) назад

Последним соавтором в статье в The Lancet указан Гинцбург. В одной из передач по ТВ он путался в номерах аденовирусов, использованных в качестве векторов. Такой вот разрабочик.

Леонид Коганов
Леонид Коганов
17 дней(-я) назад
Eвгений
Eвгений
17 дней(-я) назад

А это ничего, что в статье в Ланцете
«GMTs had increased to 3442 with Gam-COVID-Vac (p<0·0001 at day 28 vs day 21) and 5322 with Gam-COVID-Vac-Lyo (p<0·0001 at day 28 vs day 21)»
??

Болд мой.

Ольга
Ольга
16 дней(-я) назад
В ответ на:  Eвгений

Что именно кажется Вам тут странным?

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  Ольга
  1. Очевидно, что вся фраза относится к изменениям GMT между 21 и 28 днями. То есть 3442 в тексте — это не значение GMT в 28 день, а изменение между GMT в 21 и 28 день.
  2. Странным является использования оборота «had increased to» вместо «had increased by«. Ошибка серьезная и недопустимая, но лингвистическая, а не фактологическая.
Ольга
Ольга
16 дней(-я) назад
В ответ на:  Eвгений

Мне очевидно другое

власов
власов
16 дней(-я) назад
В ответ на:  Eвгений

Да, статья не редактирована так, как принято обычно в Ланцете, но это следствие спешки

Игорь
Игорь
13 дней(-я) назад
В ответ на:  Eвгений

> Очевидно, что вся фраза относится к изменениям GMT между 21 и 28 днями. То есть 3442 в тексте — это не значение GMT в 28 день, а изменение между GMT в 21 и 28 день

1. Изменение между GMT в 21 и 28 день, если верить таблице S6 будет 5382-1345=4037. А не 3442

2. Фраза целиком выглядит так: «7 days after boost, GMTs had increased to 3442 with Gam-COVID-Vac (p<0·0001 at day 28 vs day 21) and 5322 with Gam-COVID-Vac-Lyo (p<0·0001 at day 28 vs day 21).»
Если заменить «to», на «by», как вы предлагаете, то 5322 тоже станет не значением, а изменением. Но это как раз значение на 28-й день, если верить таблице S6.

Eвгений
Eвгений
12 дней(-я) назад
В ответ на:  Игорь

Да, действительно, если внимательно посмотреть на число 5322 и его источник, то это значение, а не изменение. Согласен, что и 3442 тогда не может быть изменением. Объяснений этому числу в тексте у меня нет.
Мой вопрос в этой ветке снимается, гипотеза, что проблема «лингвистическа» (to vs by ) оказалась неверной.

Eвгений
Eвгений
17 дней(-я) назад

«8. Авторы сообщают о нескольких ограничениях своего исследования. Согласно критериям включения в исследовании могли участвовать лица в возрасте от 18 до 60 лет. Авторы называют ограничением исследования молодой возраст участников, средние значения которого находятся в диапазоне от 25 до 31 лет. Однако максимальный возраст участников не указан. Судя по всему, имело место неэтичное включение военнослужащих, которых было легко набрать для исследования»

А разве нет ответа в статье?

«The study of Gam-COVID-Vac was done at a branch of Burdenko Hospital, an agency of the Ministry of Defence. Both civilian and military volunteers took part in that study. Military personnel were contract employees (who received a salary for their work) and not individuals conscripted for compulsory military service. The study of Gam-COVID-Vac-Lyo took place at Sechenov University and all volunteers in that study were civilians«

Ольга
Ольга
16 дней(-я) назад
В ответ на:  Eвгений

Включение военнослужащих может быть как этичным, так и нет. Это всегда предмет для беспокойства.

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  Ольга

Может быть как этичным, так и нет.
Логунов и соавторы честно указали в статье, что военнослужащие были включены. И включались только контрактники.

Поэтому фраза «Судя по всему …» выглядит неумеcтной. Были включены военнослужащие или нет — ответ на это есть в статье.

Что касается этики, то у Логунова и соавторов указано:
«The two studies were reviewed and approved by appropriate national and local competent authorities, including the regulator (Department of State Regulation for Medicine Distribution, approval nos 241 and 242) and the ethics committee of the Ministry of Health of the Russian Federation.«

власов
власов
16 дней(-я) назад
В ответ на:  Eвгений

Действительно, одобрение было. Но это не сонование для сомнений. Оговорки насчет того, чо контрактники, а не призывники бессмысленны. С таким же успехом можно было бы указывать, что там прапорщики, а не рядовые или офицеры, а не сержанты. Привлечение в клинические исследования любых уязвимых групп правомерно только тогда, когда исследлования на неуязвимых группах енвозможны и если это исследование проводтся в интересах этой уязвимой группы.
В данном случае уязвимой группой являются военнослужащие, и они столь же уязвимы, как и члены/сотрудники любых организаций со строгим иерархическим подчинением (полицейские, например, или жандармы). Не важно, добровольно они пошли охранять тюрьму или их призвали в «конвойные войска».

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  власов

Есть основания для сомнений или нет — по этому поводу я не могу ничего утверждать (по причинам, которые укажу в другом комментарии).

Но, насколько понимаю процедуру (могу ошибаться), заключение об этичности выдается комитетом по этике при Минздраве. Оно было выдано.
Поэтому я не понимаю претензий к Логунову и соавторам, которые просто выполнили требуемую процедуру.
Если есть вопросы, связанные с этичностью исследования, их нужно адресовать не авторам статьи, а комитету по этике при Минздраве.

Разве не так?

Валерий
Валерий
15 дней(-я) назад
В ответ на:  Eвгений

С какой стати этический комитет отвечает за нарушения этики? Согласно Рекомендациям Международного комитета редакторов медицинских журналов (ICMJE) за это отвечают авторы.

власов
власов
15 дней(-я) назад
В ответ на:  Eвгений

Не так. Ответственность за неэтичное проведение исследования несут авторы. Ответственность этического комитета — иная.

Агриппина Ваганова
Агриппина Ваганова
15 дней(-я) назад
В ответ на:  власов

Они не нарушали заявленной и одобренной ЛЭК процедуры. Если бы нарушили, то несли ответственность. 61-ФЗ оговаривает возможность проведения КИ на военнослужащих.

власов
власов
15 дней(-я) назад

Действие 61-ФЗ ограничивается границами РФ. Мы с вами не публикацию в «Казанском медицинском журнале» обсуждаем. Да и казанцы, при всей их практике плагиата, стремятся по-своему к международным стандартам.

Агриппина Ваганова
Агриппина Ваганова
15 дней(-я) назад
В ответ на:  власов

GCP, ХД, CIOMS, ЮНЕСКО не ведут в настоящее время перечни уязвимых групп и пересматривают понятие «уязвимости», считая неправильным говорить об уязвимости в масштабе групп и популяций, потому что в пределах групп и популяций одни субъекты может быть узявимымм, а другие нет.

Включение в КИ vulnerable subjects/individuals (не groups) допустимы при усиленном внимании со стороны этического комитета, подтверждении добровольности получения информированного согласия (например, подписании ICF участии независимого свидетеля). 

Цит: The idea that persons are vulnerable simply because they belong to specific groups or populations is inadequate. A more refined analysis is required to determine which individuals within a category are vulnerable and which are not (Resnik 2004; Levine et al. 2004).

власов
власов
15 дней(-я) назад

Агриппина, вы неправы. ХД явным образом указывает на ГРУППЫ. Без малого 60 лет как. Именно она есть основа и точка опоры для индустриального и проч регулирования
«Vulnerable Groups and Individuals19.      Some groups and individuals are particularly vulnerable and may have an increased likelihood of being wronged or of incurring additional harm.
All vulnerable groups and individuals should receive specifically considered protection.
20.      Medical research with a vulnerable group is only justified if the research is responsive to the health needs or priorities of this group and the research cannot be carried out in a non-vulnerable group. In addition, this group should stand to benefit from the knowledge, practices or interventions that result from the research.»

Агриппина Ваганова
Агриппина Ваганова
12 дней(-я) назад
В ответ на:  власов

Василий Викторович, я права.

Нет перечня в посл ХД, какие именно группы и каких отдельных субъектов по умолчанию должно относить к узявимым.

И в CIOMS нет.

власов
власов
12 дней(-я) назад

Конечно, вы правы. Процитированный п. 19 нельзя рассматривать как предусматривающий определенный список.

власов
власов
15 дней(-я) назад

Да, Агриппина,
вы, возможно, не заметили, что авторы письма обращают внимание не столько на сам факт использования военнослужащих, сколько на то, что лица старшего возраста не были включены. Молодые военнослужащие были включены, очевидно, именно потому, что их было легче «построить», что косвенно подтверждает гипотезу об эксплуатации. Во вред даже заявленной репрезентативности

Агриппина Ваганова
Агриппина Ваганова
12 дней(-я) назад
В ответ на:  власов

Они обращают на это внимание прежде всего потому, что следуют рекомендациям и указывают limitations.

Добровольцев какого возраста планировали использовать таких и включили. Контрактники молодые люди преимущественно. Если у вас есть другая информация по возрастной структуре контрактников, то поделитесь, пожалуйста.

Валерий
Валерий
15 дней(-я) назад
В ответ на:  Eвгений

В таких исследования возраст участников всегда описывается по возрастным категориям (20-30, 30-40 лет и т.д.). В этом исследовании этого нет, и это не случайно. И не случайно авторы указывают средний, а не медианный возраст (как полагается при таком численном составе групп, говорящем об отсутствии нормального распределения). И не случайно 24 участника были исключены по неизвестной причине. Т.е. вполне возможно, что в этом исследовании не было не одного участника старше 40 лет при заявленном максимальном возрасте 60 лет. Т.е. отбирали самых молодых и самых здоровых, чтобы получить наилучшие результаты при минимальном количестве осложнений. И это при том, что эта вакцина больше всего нужна пожилым. А для молодых (как в этом исследовании) ковид19 опасности не представляет.

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Валерий

> В таких исследования возраст участников всегда описывается по возрастным категориям (20-30, 30-40 лет и т.д.). 

Вы же сами отказались обсуждать сравнения исследования Логунова с соавторами с другими «такими исследованиями».

> И не случайно 24 участника были исключены по неизвестной причине.

Заглянул, что пишут в рекомендациях CONSORT. Тем не запрещается не указывать причину исключения — возможно указать «other reason»(есть в примерах блок-схем).

> Т.е. отбирали самых молодых и самых здоровых, чтобы получить наилучшие результаты при минимальном количестве осложнений. 

Так доброволец и должен быть здоров — это же критерий отбора. Про сдвиг возраста указано в статье. Разве нет?

> А для молодых (как в этом исследовании) ковид19 опасности не представляет.

Что значит «опасности не представляет»? Никто не умер от ковида в этой когорте?

Валерий
Валерий
15 дней(-я) назад
В ответ на:  Eвгений

Так почему же не разделили по возрастным категориям, использовали средний возраст вместо медианного (это как разница между средней и медианной зарплатой)?
Пожилые – это группа риска, и, например, в Англии их планируется вакцинировать в первую очередь. При ковид-19 летальность (case fatality rate) в возрасте 20-49 лет равна 0,31%, 60-69 лет – 3,6%, 70-79 лет – 8%, >80 лет — 14.8%.
https://www.cebm.net/covid-19/global-covid-19-case-fatality-rates/
Не случайно разработчики оксфордской вакцины подчеркивают эффективность их вакцины у пожилых

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Валерий

> Не случайно разработчики оксфордской вакцины подчеркивают эффективность их вакцины у пожилых

Разработчики оксфордской вакцины в аналогичной статье в «Ланцете» (ссылка ниже)

  1. НЕ разделили по возрастным категориям.
  2. НЕ подчеркивают эффективность у пожилых. Может где-то в другом месте подчеркивают, уже на более новых данных. Но в их статье в «Ланцете» группы испытуемых были отнюдь не возрастные.

https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)31604-4/fulltext#seccestitle170

>>  А для молодых (как в этом исследовании) ковид19 опасности не представляет.
> При ковид-19 летальность (case fatality rate) в возрасте 20-49 лет равна 0,31%,

Вы считаете, что летальность 0.31% — это «опасности не представляет»?

Валерий
Валерий
15 дней(-я) назад
В ответ на:  Eвгений

Ну, как же так – в исследовании оксфордской вакцины
https://doi.org/10.1016/S0140-6736(20)32466-1
-3 возрастные категории 18–55 лет, 56–69 лет и 70 лет и старше
В этом исследовании из 560 участников 160 были в возрасте 18–55 лет, 160 в возрасте 56–69 лет и 240 человек в возрасте 70 лет и старше. Т.е. всего 28% были моложе 56 лет.
Насчет подчеркивания эффективности у пожилых см.
https://doi.org/10.1016/S0140-6736(20)32481-8
и
https://www.ovg.ox.ac.uk/news/oxford-coronavirus-vaccine-produces-strong-immune-response-in-older-adults
Что касается летальности 0.31% — да, это ничто по сравнению с 15% у стариков. А нулевого риска не бывает — умереть можно от чего угодно, например,от завертывния в простыни.

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Валерий

> Ну, как же так – в исследовании оксфордской вакцины…
А вот так.

  1. Статья на которую Вы ссылаетесь, опубликована в открытом доступе позавчера. Исследование, которое описывается в этой статье специально посвящено Безопасность и иммуногенность вакцины ChAdOx1 nCoV-19, вводимой в режиме первичной бустерной вакцинации молодым и пожилым людям. Очевидно, что там не может не быть указания на распределение по возрастным группам.
  2. Статья на которую ссылаюсь я, опубликована в открытом доступе 20 июля. Исследование, которое описывается в этой статье посвящено Безопасности и иммуногенности вакцины ChAdOx1 nCoV-19 против SARS-CoV-2. То есть ровно тому же, что и статья Логунова и др (только в отношении другой вакцины). И никаких распределений по возрастным группам там нет.
  3. Зачем Вы пытаетесь выполнить такую подмену — вопрос.
Валерий
Валерий
14 дней(-я) назад
В ответ на:  Eвгений

Июльская статья – это всего лишь предварительный отчет (см. название), а у Логунова такое же исследования оказалось окончательным. Нормального исследования 2 фазы (как 2 дня назад в Ланцете) по вакцине Спутник так и нет.
Кстати, в июльской статье в Ланцете возраст указан в виде медиан с квартилями даже при числе участников 543 и 534, а у Логунова для групп из 9 участников возраст указан в виде средних со стандартными отклонениями. Это, конечно, крайне сомнительный выбор (см. любой букварь по биостатистике).

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Валерий

Для опровержения Вашего утверждения:
> «В таких исследования возраст участников всегда описывается по возрастным категориям (20-30, 30-40 лет и т.д.).»

достаточно привести единственный контрпример.
Я его привел.
Ваше утверждение опровергнуто, то есть оно является ложным.

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Валерий

> А нулевого риска не бывает — умереть можно от чего угодно, например,от завертывния в простыни.

Вы можете привести оценку летальности для завертывания в простыни?

Валерий
Валерий
14 дней(-я) назад
В ответ на:  Eвгений

Разумеется
https://errorstatistics.com/2015/05/04/spurious-correlations-death-by-getting-tangled-in-bedsheets-and-the-consumption-of-cheese-aris-spanos/
Я заканчиваю эти обсуждения. У вас, похоже, это задание по основной работе, за которую вам платят, а меня нет. Но у меня тоже время-деньги.

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Валерий

Разумеется, никаких оценок летальности Вы не привели.
По ссылке, предоставленной Вами, указаны количества умерших от данной причины.
Вы различаете количество умерших и летальность?

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Валерий

Что же касается бездоказательных намеков на «проплаченность», то это напоминает сюжет, в котором участвовал уважаемый Михаил Сергеевич Гельфанд в присутствии уважаемого Василя Викторовича Власова, Вашего соавтора, насколько понимаю:

https://www.youtube.com/watch?v=z11rZTumQjY&feature=youtu.be&t=1837

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Валерий

> Вы же сами отказались обсуждать сравнения исследования Логунова с соавторами с другими «такими исследованиями».

Приношу извинения, почему-то решил, что отвечает уважаемый власов.

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Валерий

> В таких исследования возраст участников всегда описывается по возрастным категориям (20-30, 30-40 лет и т.д.).

Не всегда.
Вот тут https://www.thelancet.com/cms/10.1016/S0140-6736(20)31604-4/attachment/42863163-6199-446d-8c40-82e5bcaa0b57/mmc1.pdf (страница 3) не описывается по возрастным категориям.

Валерий
Валерий
15 дней(-я) назад
В ответ на:  Eвгений

Эта ссылка не работает

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Валерий

Какие-то особенности работы сайта «Ланцета». Копия ссылки на pdf, открытая в отдельном окне не работает.
Pdf можно забрать с этой страницы https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)31604-4/fulltext#sec1
в разделе Supplementary Materials по ссылке на файл mmc1.pdf

Eвгений
Eвгений
17 дней(-я) назад

«Например, для фазы 2 испытания замороженного препарата среднее геометрическое титра IgG на 28-й день составляет 3442 в тексте, около 6400 на рис. 2-B и 5382 при использовании индивидуальных данных с рис. 2-В.»

На рис 2-B риска для фазы 2 испытания замороженного препарата среднего геометрического титра IgG на 28-й день расположена около 6400 и несколько ниже.

А где должно располагаться значение 5382 на логарифмической оси, как не там?

Ольга
Ольга
16 дней(-я) назад
В ответ на:  Eвгений

Т.е. Вы полагаете, что на таком рисунке различить 5382 и 6400 в принципе нереально?

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  Ольга

Я полагаю, что на логарифмической шкале на рис.2. отметка 5832 должна располагаться на три четверти деления выше отметки 3200 (или, что тоже самое, на четверть деления ниже отметки 6400). Ровно там отметка располагается на рисунке.

Eвгений
Eвгений
17 дней(-я) назад

«…. При этом количество пациентов с НЯ в статье не сообщается, приведены только относительные частоты НЯ, которые варьируют от 0% до 100%.»

Количество пациентов с НЯ указаны как в самой статье в Table 2 Systemic and local adverse events.
Там и в приложении (там более подробная информация по НЯ) — таблицы S1 и S2.

Как это можно было не заметить, непонятно.

Ольга
Ольга
16 дней(-я) назад
В ответ на:  Eвгений

В перечисленных Вами таблицах приведены частоты НЯ, а не то, что заявлено в качестве критерия безопасности.

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  Ольга

В перечисленных мной таблицах в скобках указаны относительные частоты в процентах. И количества испытуемых с тем или иным НЯ перед скобками.
Если ожидалось указание общего количества испытуемых с НЯ, то НЯ были у всех, так как хотя бы для одного НЯ было 100%.

Если количества указанные в таблицах, на которые приведены ссылки — это не те показатели, которые ожидаются. То из текста совершенно не понятно, какие показатели ожидались, но не были приведены.

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  Ольга

> В перечисленных Вами таблицах приведены частоты НЯ, а не то, что заявлено в качестве критерия безопасности.

Дополню цитатами (болд мой)
Вот что обещали:
«The primary outcome measure for safety was the number of participants with adverse events from day 0 to day 28 after vaccination in phase 1 and from day 0 to day 42 after vaccination in phase 2.»

Вот что предоставили:
«The table shows the total number (%) of volunteers who developed adverse events, according to severity (mild [grade 1], moderate [grade 2], and severe [grade 3]).»

Что обещали, то и предоставили. Дополнительно ещё посчитали относительные частоты в процентах.

Ольга
Ольга
15 дней(-я) назад
В ответ на:  Eвгений

Т.е. Вы полагаете, что авторов устраивает 100% пациентов с НЯ? Возможно, что и так — они же не заявили количественный критерий безопасности. И при этом не написали, сколько было пациентов с 1 НЯ, с 2 НЯ и т.д. Это все важно для врачей — у нас принцип «не навреди», если Вы не слышали.
И что-то про серьезные НЯ Вы не беспокоитесь.

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Ольга

Я полагаю, что авторы предоставили ровно то, что обещали, и то, что предоставляется as usial.
Строить OLAP-куб и крутить его в статье или в приложении они не обещали.

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Ольга

> И что-то про серьезные НЯ Вы не беспокоитесь.
Извините, мы же не смутные беспокойства обсуждаем, а конкретные претензии к статье Логунова и др.

Eвгений
Eвгений
17 дней(-я) назад

«Результаты, приведенные в этих таб­лицах, можно воспроизвести, если использовать данные из рис. 2 и заменить нули на 1. Возможно, авторы сделали такую замену с целью расчета средних геометрических, но это можно рассматривать как фальсификацию данных;»

Болд мой.
Можно поинтересоваться, какие нули из данных рис.2 были (предположительно) заменены на единицы?
Вообще-то на рис.2 по вертикальной оси логарифмическая шкала, на которой нуля не бывает.

Ольга
Ольга
16 дней(-я) назад
В ответ на:  Eвгений

См. приложение — «all volunteers didn’t have antibodies to SARS-CoV-2 on day 0 of the trials»

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  Ольга

Речь именно о той цитате, в которую я привел, и в которой указывается «если использовать данные из рис. 2 и заменить нули на 1» ?

Из рисунка два, а не из приложения.
Вот я и спрашиваю, где нули на рисунке два?

Игорь
Игорь
16 дней(-я) назад
В ответ на:  Eвгений

А как вы полагаете, те точки, что расположены прямо на горизонтальной оси, они какому количеству антител соответствуют?

Если сопоставить с текстом, вроде ясно, что они соответствуют отсутствию антител. (Корректно ли их было ставить туда и куда вообще надо помещать нулевые значение, если шкала логарифмическая — вопрос отдельный).

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Игорь
  1. Титр антител, как его определяют Логунов и соавторы — это не количество антител. Там вообще число меньше единицы получиться не может. Этот вопрос обсуждается в комментарии ниже.
  2. Формально: одно деление на оси (на всех панелях на рисунке) соответствует изменению величины в два раза. Поэтому легко понять, какое значение соответствует горизонтальной оси — самое маленькое подписанное значение разделить на два.
  3. Фактически на горизонтальную ось помещают также значения меньше этого. Насколько успел посмотреть примеры таких графиков с кружочками — это общепринятая практика.
  4. Например, на панели «B» на этом рисунке точки на горизонтальной оси следует трактовать так: «12.5 и менее».
Игорь
Игорь
15 дней(-я) назад
В ответ на:  Eвгений

3-4. Я понимаю, что необходимость показать на логарифмической шкале нулевые по смыслу значения (даже если им формально приписан титр 1) вынуждает нарушить математическую строгость графика, но та «общепринятая практика», которую описываете вы – это вообще какая-то катастрофа. Что значит, «точки на горизонтальной оси следует трактовать так: «12.5 и менее»?? То есть там, действительно, могут скрываться измерения с титрами 6,25, 3,125 и т. п.? И их все склеили на один уровень. Зачем?? Или что, можно было первым делением поставить вообще 800, а 400 и менее разместить на горизонтальной оси? И это не было бы нарушением «общепринятого»? Но это все сделало бы графики совершенно бессмысленными. Я полагаю, этот график (B) надо понимать так, что титр 25 – это просто минимальный титр, который получился при измерениях по их методике (Не считая тех образцов, которые и без разведения не давали нужного сигнала и которые поместили на горизонтальную ось. Им следовало приписать титр то ли 1, то ли 0 – подробнее об этом в комментах ниже). Соответственно, если на измерениях для панели D у них реально встречался титр 1,25, то они должны были добавить на вертикальную ось деление 1,25 – если хотели, чтобы рисунок был пригоден для анализа. Тем более, что в самом начале своего ответа… Подробнее »

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Игорь

Тут вижу две сильно разные ситуации.

  1. RBG-специфичные антитела: панели A и B. Чтобы отобразить математически точно единицы график нужно увеличить вниз на четыре деления, почти на треть. Но это много информации не добавит. Так как в нулевой день у всех единица по построению. Может имеет смысл показать что происходило с некоторыми в 14-день — там тоже есть точки на горизонтальной оси.
  2. Нейтрализующие антитела: панели B и C. Там до отметки менее единицы всего на два деления нужно продолжить (1.25 и 0.625). Было бы интересно посмотреть, как распределились значения (их скорее всего два еще — 1.25 и единица ровно) вокруг 1.125 (как они посчитали GMT).

Не знаю как это повлияло на основные, главные выводы в статье. Думаю, что не повлияло.

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Игорь

К сожалению, не могу поправить прошлый комментарий
> вокруг 1.125 (как они посчитали GMT).

вокруг 1.25 (как они посчитали GMT).

Игорь
Игорь
14 дней(-я) назад
В ответ на:  Eвгений

То есть вы подозреваете авторов исходной статьи в том, что они скрыли на этих графиках ряд промежуточных значений, которые реально встречались в образцах?? Это на мой взгляд, очень серьезное обвинение. Даже авторы статьи в ТрВ, кажется, не подозревали их в искажениях такого масштаба.

Тем более, что в первых строках своего ответа авторы пишут, что все индивидуальные данные можно извлечь из этих графиков. Тогда это прямое вранье.

Мне трудно поверить, что всё настолько плохо. Возможно, они ошиблись в одном графике – панели D (в таблице S6 указано значение 1,250, которое отсутствует на панели D).

Eвгений
Eвгений
13 дней(-я) назад
В ответ на:  Игорь

> То есть вы подозреваете авторов исходной статьи в том, что они скрыли на этих графиках ряд промежуточных значений, которые реально встречались в образцах?? Это на мой взгляд, очень серьезное обвинение. 

Конечно, я этого не утверждаю. Вы как-то превратно поняли мои слова, или я где-то не достаточно точно выразился.

> Возможно, они ошиблись в одном графике – панели D (в таблице S6 указано значение 1,250, которое отсутствует на панели D).
Собственно говоря, только это и вызывает небольшие вопросы. Ответить на них просто: на панели D на вертикальной оси не вошло отдельное деление для значения 1.25. Почему так? Не знаю. Не думаю, что это как-то повлияло на выводы по результатам исследования.

Игорь
Игорь
13 дней(-я) назад
В ответ на:  Eвгений

> Конечно, я этого не утверждаю. Вы как-то превратно поняли
> мои слова, или я где-то не достаточно точно выразился.

Зато теперь я могу это утверждать. На выходных было время, пересчитал результаты, где было всего 9 участников.

Чтобы получились те средние геометрические, что у них указаны в таблице S3, нужно всем «нулевым» точкам (в смысле – лежащим на горизонтальной оси) на всех графиках для 14-го дня (на панели A рисунка 1) присвоить значение 12,5, а не 1. (Всего таких точек 5 на 3-х графиках).

А с таблицей S5 и панелью С всё еще хуже. Я даже оставлю в стороне нулевой день, смотрю только на остальные. Если считать, что «нулевым» точкам присвоено значение 1, то будет ошибка во всех средних геометрических. Если же считать, что им присвоено значение 1,25, то средние геометрические окажутся правильными, но в 7 из 8 случаев не сойдутся 25%-процентили: они должны быть 1,25, а в таблице указано 1. (Единственный график, где нет этой проблемы – последний, там просто только одна «нулевая» точка и она на процентиль не влияет).

То есть либо в 25%-процентиле, либо в среднем геометрическом – явно ошибка.

Eвгений
Eвгений
13 дней(-я) назад
В ответ на:  Игорь

> Чтобы получились те средние геометрические, что у них указаны в таблице S3, нужно всем «нулевым» точкам (в смысле – лежащим на горизонтальной оси) на всех графиках для 14-го дня (на панели A рисунка 1) присвоить значение 12,5, а не 1. (Всего таких точек 5 на 3-х графиках). В этом нет никакого криминала. Как мы обсуждали с Вами ранее — горизонтальная ось не соответствует какому-то определенному значению. В частности, для панели А, точки, расположенные на горизонтальной оси имеют значения 12.5 или менее. Что Вы и наблюдаете. > А с таблицей S5 и панелью С всё еще хуже. Я даже оставлю в стороне нулевой день, смотрю только на остальные. Если считать, что «нулевым» точкам присвоено значение 1, то будет ошибка во всех средних геометрических. Если же считать, что им присвоено значение 1,25, то средние геометрические окажутся правильными, но в 7 из 8 случаев не сойдутся 25%-процентили: они должны быть 1,25, а в таблице указано 1. (Единственный график, где нет этой проблемы – последний, там просто только одна «нулевая» точка и она на процентиль не влияет) Точкам на горизонтальной оси на панели C соответствуют значения 1.25 или менее. Если оказывается, что для получения верного значения среднего геометрического им всем нужно присвоить —… Подробнее »

Eвгений
Eвгений
12 дней(-я) назад
В ответ на:  Игорь

По панели C и таблице S5 Вы правы.
В таблице S5 везде вместо единиц должно быть 1.25, как это наблюдается в таблице S6.

Не думаю, что тут какой-то злой умысел, так как вряд ли от этого какие-то выводы зависят.

Но даже если это небрежность, то небрежность недопустимая.

Валерий
Валерий
15 дней(-я) назад
В ответ на:  Eвгений

А как насчет того, что 9 участников имели абсолютно одинаковые титры антител на 21 и на 28 день (рис. 2). Это как 9 человек дважды бросают кости, и в обоих случаях каждый из них получает совершенно одинаковые результаты.

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Валерий

Какие панели на рисунке 2 имеются в виду? Предположу, что самая верхняя и самая правая панель. Там действительно у 9 человек на 21 и 28 день все одинаково.

  1. Это не бросание костей. Значения титра в 28 день зависит от значения титра в 21 день. А при бросании костей исходы независимы.
  2. Допустимое множество значений весьма ограничено, по сути значения могут быть только те, которые отмечены на рисках на оси (как это всё делают Логунов и Ко — это описано в первом абзаце приложения).
  3. То есть у этих 9 человек не было изменений титра (при используемом методе измерения, у которого значения дискретные и ближайшие отличаются в два раза) за неделю. И что?
Валерий
Валерий
15 дней(-я) назад
В ответ на:  Eвгений

Т.е. когда надо про титры, данные становятся дискретными, а когда надо про возраст – непрерывными количественными. Очень удобно! Все равно 100% совпадений не бывает. Так что кости остаются в силе.

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Валерий

> Т.е. когда надо про титры, данные становятся дискретными.

Титр, как его измеряет Логунов — это разведение сыворотки. Это данные не могут быть непрерывными. Просто потому что нельзя выполнить разведение сыворотки континуум раз.

> а когда надо про возраст – непрерывными количественными.
А почему вы решили, что возраст — это непрерывные количественные данные? Вполне могут быть, и скорее всего есть — дискретные количественные.

> Так что кости остаются в силе.
Я же правильно понимаю, что Вы — это Валерий Аксёнов, один из авторов критической статьи?
Если да, то такой вопрос: может ли, имеет ли право, кандидат медицинских наук не различать зависимые и независимые случайные величины?
Фраза «кости остаются в силе», указывает не то, что Вы их не различаете.

Валерий
Валерий
14 дней(-я) назад
В ответ на:  Eвгений

А почему вы решили, что возраст — это непрерывные количественные данные? – во-первых это и есть непрерывные количественные данные (см. любой букварь по биостатистике), а вторых, так их представляет Логунов, т.к. только непрерывные количественные данные можно представлять в виде средних со стандартными отклонениями.
Какое отношение ко всему этому имеют зависимые и независимые случайные величины? — Похоже, вы путаете зависимые и независимые случайные величины с зависимыми и независимыми группами (см. любой букварь по биостатистике).
Плохое знание биостатистики вообще характерно для авторов статьи про Спутник. Какое-то нелепое и неуместное объяснение как трактовать корреляционный анализ, неправильный выбор описательной статистики, непонимание необходимости в апостериорном анализе и поправках на множественные сравнения и т.д. Это студенческие ошибки, за которые в мед. ВУЗах ставят двойки.

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Валерий
  • Если возраст определяется, как количество полных прожитых лет, то это — дискретные количественные данные.
  • «только непрерывные количественные данные можно представлять в виде средних со стандартными отклонениями«. Вы хотите сказать, что количество детей в семье, например, нельзя представить средним со стандартным отклонением?
  • «Какое отношение ко всему этому имеют зависимые и независимые случайные величины? — Похоже, вы путаете зависимые и независимые случайные величины с зависимыми и независимыми группами (см. любой букварь по биостатистике).»
  1. Титр антител в 21 день можно рассматривать как одну случайную величины, титр антител в 28 день — как другую. Эти случайные величины зависимы. Результаты бросков кубика — независимы. Сравнение с игральные костями некорректно
  2. Действительно не знаю, что такое «зависимые и независимые группы», я знаю что такое зависимые и независимые выборки.
  3. Упоминание букварей действительно уместно.
Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Валерий

Исправление опечатки в моем комментарии:
> не то, что Вы их не различаете.
на то, что Вы их не различаете.

Eвгений
Eвгений
16 дней(-я) назад

«Авторы не сообщают, почему 24 добровольца были исключены, а блок-схема проведения исследования отсутствует» Не знаю, какая именно блок-схема ожидается. Но если использовать общепринятое определение блок-схемы, например, из википедии ( https://ru.wikipedia.org/wiki/Блок-схема ): «Блок-схема — распространённый тип схем (графических моделей), описывающих алгоритмы или процессы, в которых отдельные шаги изображаются в виде блоков различной формы, соединённых между собой линиями, указывающими направление последовательности«. То блок-схема присутствует, на Figure 1Trial profile в тексте статьи. Эту блок-схему можно сравнить с аналогичной блок-схемой, например, из дополнительных материалов к статье в «Ланцете» Safety and immunogenicity of the ChAdOx1 nCoV-19 vaccine against SARS-CoV-2: a preliminary report of a phase 1/2, single-blind, randomised controlled trial. Ссылка: https://www.thelancet.com/cms/10.1016/S0140-6736(20)31604-4/attachment/42863163-6199-446d-8c40-82e5bcaa0b57/mmc1.pdf (Figure S1Trial profile) Из сравнения блок-схем видно, что Логунов и соавторы не указали на блок-схеме этап Screened, что минус, конечно. Но этот этап описан в тексте. С другой стороны, авторы Safety and immunogenicity of the ChAdOx1 nCoV-19 vaccine against SARS-CoV-2: a preliminary report of a phase 1/2, single-blind, randomised controlled trial между этапами Screened и Enrolled исключили 791 испытуемых с указанием причин и 133 испытуемых без указания причин. Кроме того, у авторов Safety and immunogenicity of the ChAdOx1 nCoV-19 vaccine against SARS-CoV-2: a preliminary report of a phase 1/2, single-blind, randomised controlled trial где-то потерялось два человека: Enrolled N=1077, плюс… Подробнее »

Ольга
Ольга
16 дней(-я) назад
В ответ на:  Eвгений

Блок-схема — не вполне адекватный перевод на русский язык названия типа графика flow chart.
Figure 1Trial profile — неполная. Про скринированных сказано в тексте — их было 120. В тексте нет объяснения дальнейшего исключения 24 добровольцев из 100 отобранных.
Другие статьи здесь не обсуждаются.
И как прекрасно, что Ваше мнение совпадает с мнением Ланцета!)

Последняя редакция 16 дней(-я) назад от Ольга
Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  Ольга

Пусть блок-схема, она же flow chart, сколь угодно неполная.
Написано, что блок-схемы нет. А она есть.

Вы согласны, что фраза «блок-схема проведения исследования отсутствует» не соответствует действительности?

Ольга
Ольга
16 дней(-я) назад
В ответ на:  Eвгений

Полагаю, что плохая схема — то же, что и ее отсутствие. Вы обсуждаете детали, а не главное.

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  Ольга

Извините, но я полагаю, что плохая схема — это плохая схема, а не её отсутствие.
Корректная фраза: «Схема присутствует. Она плохая, потому что…»
А фраза: «Схема отсутствует» — не соответствует действительности.

власов
власов
16 дней(-я) назад
В ответ на:  Eвгений

Есть рекомендация CONSORT, в соответствии с нею должна быть блок-схема всего исследования. Ее в статье нет. Есть часть. Да, Ланцет не потребовал у авторов предоставить полную схему. Этим пренебрег своими же правилами. Отсутствие блок-схемы затрудняет понимание исследования.

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  власов

К сожалению, среди моих двух высших образований нет ни одного медицинского. Поэтому не знаю, что такое рекомендации CONSORT, до этого вообще не знал о их существовании. Не думаю, что я такой единственный из читателей ТрВ.

Поэтому всё, что мне остается — это читать дословно. Читаю «схемы нет», захожу в статью на «Ланцете» — схема есть.

Почему нельзя было написать прямо: «Схема есть. Но рекомендациям не соответствует, пользоваться ей невозможно»? Не понимаю.

власов
власов
15 дней(-я) назад
В ответ на:  Eвгений

Ланцет — медицинский журнал. Уже почти 25 лет требует от авторов РКИ писать в соответствии с CONSORT. Хорошо, что вы теперь поняли.

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  власов

К сожалению, я так и не понял: зачем писать «схема отсутствует», если схема присутствует, но нарушает требования.

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  власов

Скажите, пожалуйста, а Вы готовы сравнивать статью Логунова с соавторами и другие аналогичные статьи?

  1. Вот, например, блок-схема тут https://www.thelancet.com/cms/10.1016/S0140-6736(20)31604-4/attachment/42863163-6199-446d-8c40-82e5bcaa0b57/mmc1.pdf (на странице 3) соответствует рекомендациям CONSORT или нет?
  2. На этой блок-схеме указано, что 133 испытуемых, прошедших скрининг не были включены в группы, а причины невключения для них не указаны. Это приемлемо или неприемлемо?
власов
власов
15 дней(-я) назад
В ответ на:  Eвгений

Нет, не готов. Полагаю, что whataboutism’ов не нужно.

01.01.09
01.01.09
15 дней(-я) назад
В ответ на:  власов

Зря

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  власов

Нет, так нет.
Спасибо за ответ.

Валерий
Валерий
15 дней(-я) назад
В ответ на:  Eвгений

Никакой блок-схемы (flow-chart) там нет. Там есть trial profile, который не имеет ничего общего с flow-chart, которая описывает процесс отбора (включение/исключение) участников.
См. http://www.consort-statement.org/Media/Default/Downloads/Translations/Russian_ru/Russian%20CONSORT%20Flow%20Diagram.pdf

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Валерий

То есть из-за того что в подписи к рисунке нет слов «flow-chart» делается вывод, что блок-схем нет?

В приведенном мной примере (в других комментариях) «такого же исследования» блок-схема, оформленная в строгом соответствии с CONSORT (насколько могу судить при сравнении её с шаблоном) называется … Figure S1 Trial Profile . Слово «flow-chart» так же отсутствует.

Валерий
Валерий
15 дней(-я) назад
В ответ на:  Eвгений

Блок‐схема CONSORT описывает процесс включения/исключения участников с указанием количества получивших планируемое лечение и количества участников, у которых был выполнен анализ исходов. В том, что у них называется trial profile (что это, вообще?), ничего подобного нет.

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Валерий

> с указанием количества получивших планируемое лечение
Это есть

> и количества участников, у которых был выполнен анализ исходов.
И это есть.

> процесс включения/исключения участников
Это есть частично: есть блок «Enrolled», нет блока «Assessed for eligibility», и нет выноски с причинами не включения в группы.

> В том, что у них называется trial profile (что это, вообще?), ничего подобного нет.
Это неверно — см. выше.
(болд мой)

Валерий
Валерий
15 дней(-я) назад
В ответ на:  Eвгений

Это из серии рассуждений об осетрине второй свежести. Либо соответствует критериям CONSORT, либо не соответствует. Ответ: НЕ СООТВЕТСТВУЕТ

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Валерий

Ответ принимается.
Но в статье-то в ТрВ указано, что «осетрины» нет, а не то, что она второй свежести (то есть тухлая). Вот в чём загвоздка.

Авторы статьи в ТрВ критикуют Логунова и др. в каких-то некорректностях, намекают на фальсификацию данных…
Но при этом их (авторов статьи в ТрВ) утверждения действительности не соответствуют.

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  Ольга

>Другие статьи здесь не обсуждаются.
Очень жаль. Потому что в сравнении с другими подобными статьями более наглядно видно, что ожидается от подобных статей, а что не ожидается.

> И как прекрасно, что Ваше мнение совпадает с мнением Ланцета!)
Я польщен.

01.01.09
01.01.09
16 дней(-я) назад
В ответ на:  Eвгений

Вспоминается оценка Хрушевым творчества Пастернака

Old_Scientist
Old_Scientist
16 дней(-я) назад
В ответ на:  01.01.09

Да, именно так. В роли Хрущева в данной дискуссии выступает Ольга. Ее комментарии можно сформулировать так: «я в этом разбираюсь плохо, но осуждаю».

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  Old_Scientist

FGJ.
Фраза «не читал, но осуждаю» — некий миф. Документальных подтверждений, что она была сказана какими-либо официальными лицами не существует \ не найдено.
А Хрущев характеризовал Пастернака непарламентскими выражениями.

Максим Борисов
16 дней(-я) назад
В ответ на:  Eвгений

буквально такой фразы не было, это некая выжимка из сумбурного выступления трудящегося — по смыслу впрочем такого

01.01.09
01.01.09
16 дней(-я) назад
В ответ на:  Максим Борисов

Я лично вспомнил фразу про свинью

власов
власов
16 дней(-я) назад
В ответ на:  Eвгений

Евгений, это приятно, что вы внимаельно читаете и находите несоответствия. Не упутите главного: авторы не предоставили исходные данные по запросу, что обещали. Этого, на мой взгляд, достаточно для ретракции. Не представили ни русским, ни итальянцам, ни американцам, насколько я осведомлен. Вот так же, как замена кирилличекого «с» на латинское «c» в сплагиаченном тексте делает из ленивого студента злоумышленника, отказ от предоставления исходных данных говорит о том, что авторам есть, что скрывать.

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  власов

Спасибо.
Не могу оценивать: непредоставление исходных данных достаточно для ретракции, или не достаточно. Поэтому и не высказывался по этому вопросу.

Если непредоставление исходных данных — это главное, то тогда зачем все остальные претензии, среди которых большое число вызвало вопросы, мягко говоря? Не понимаю.

Агриппина Ваганова
Агриппина Ваганова
15 дней(-я) назад
В ответ на:  Eвгений

Непредоставление данных по нередакционным запросам для совместного использования не является основанием для ретракции — https://publicationethics.org/retraction-guidelines#:~:text=Notices%20of%20retraction%20should%3A&text=Be%20clearly%20identified%20as%20a,who%20is%20retracting%20the%20article

власов
власов
15 дней(-я) назад

Вы ссылаетесь на вторичный документ. Если бы вы обратились к первичному, то поняли, что это рекомендации, в которых написано «Editors should consider retracting». Но нет ни слова о том, в каких случаях «Editors should not consider retracting».
Конечно, мнение авторов комментария о том, что лживость авторов есть основание для ретракции, выходит за пределы прямого требования «Editors should consider retracting». И вам не обязательно принимать лживость авторов как основание для недоверия им.

Агриппина Ваганова
Агриппина Ваганова
15 дней(-я) назад
В ответ на:  власов

Давайте обратимся к первичному: «Editors should consider retracting a publication if…» — https://publicationethics.org/files/cope-retraction-guidelines-v2.pdf

Так произвольно — в стиле что захочу, то и ворочу — такая юридически опасная для любого международного журнала процедура ретракции не работает. Причины ретракции оговорены. В гайде приведены именно те случаи, когда редакция может рассмотреть возможность процедуры отзыва.

Мне авторов письма про лживость авторов — это только мнение. На основании мнения статьи не ретрагируют. Это произвол. У редактора должны быть clear evidence that the findings are unreliable.

Если бы за отказ шеринга в КИ статьи ретрагировали, то это было бы известно (само по себе это абсурдно, ipd data sharing дело добровольное). Может быть покажите пример из retraction watch database, когда статья была ретрагирована по этим основаниям?

Агриппина Ваганова
Агриппина Ваганова
15 дней(-я) назад

=покажете 

Агриппина Ваганова
Агриппина Ваганова
15 дней(-я) назад
В ответ на:  власов

это рекомендации, в которых написано «Editors should consider retracting». Но нет ни слова о том, в каких случаях «Editors should not consider retracting»

Это «закрытый список», т.е. COPE не дает рекомендаций ретрагировать статьи по иным основаниям (на данный момент).

власов
власов
15 дней(-я) назад

вам не обязательно принимать лживость авторов как основание для недоверия им

Агриппина Ваганова
Агриппина Ваганова
15 дней(-я) назад
В ответ на:  власов

Что означает эта ваша фраза? И какое отношение она имеет к этому гайду COPE?

Если вы опять про IPD data statement, то авторы не лгали и там нет обещания предоставления доступа к данным после любого запроса. IPD data sharing так не работает.

01.01.09
01.01.09
15 дней(-я) назад
В ответ на:  власов

Меня интересует вопрос изменения курса акций Pfizer на фоне принятия решения о ретракции, на котором вы так настаиваете

власов
власов
15 дней(-я) назад
В ответ на:  01.01.09

Это вам надо к специалистам по рынку. Думаю, что Вектор и Чумаковцы более реальные конкуренты гамалейцам, но могу ошибаться

01.01.09
01.01.09
15 дней(-я) назад
В ответ на:  власов

Речь идет о вхождении на российский рынок, на котором есть достаточно большое количество обеспеченных людей, а во вторую очередь — юорьба за зарубежье. Кроме того, акции скачут, а события отыгрываются — я как специалист по финансовой паталогоанатомии

01.01.09
01.01.09
15 дней(-я) назад
В ответ на:  власов

Проблема в том, что у простых людей будет реальный выбор прививаться или нет чем дадут. Если авторы статьи думали о личной выгоде, то не о такой мелочи, как степень доктора наук — здесь ставки гораздо выше.

Название вашей заметки весьма некорректно. Я понимаю, что вам несколько раз не ответили, но согласно последнему постановлению вашей комиссии серьезные люди должны отвечать в двух случаях

  1. По щучьему веленью
  2. По своему хотенью
власов
власов
15 дней(-я) назад
В ответ на:  01.01.09

Не ведаю, на какую комиссию вы ссылаетесь, но в данном случаев Логунов и др ведут себя по-хамски. Возможно присутствует связь с этим и резкого названия, да.
Озабоченность выбором понимаю. Однако, думаю, что при наличии российских вакцин для иностранных вход на русский рынок будет неинтересен, ибо государство станет закупать только родное, а рынок упомянутых «простых людей» мал.
Последним придется слушать гопак

01.01.09
01.01.09
15 дней(-я) назад
В ответ на:  власов

На КПФНИ, вы, кажется, в нее входите

Вообще говоря, автор должен отвечать на запросы редакции, остальное — отношения взрослых людей, как говорит один наш декан

Озабоченность выбором надо понимать до конца — как в виде коррупционного давления, так и в виде два раза коррупционного отказа человека, которому агентство ОБС внушило не прививаться. Как у паталогоанатомов на Кавказе.

Всем желающим за большие деньги иностранные вакцины будут — дураков у нас нет.

В одной Москве рынок больше миллиона человек, кто за *настоящую* вакцину заплатит каких-нибудь 100000 рублей

власов
власов
14 дней(-я) назад
В ответ на:  01.01.09

Огорчайтесь: даже в Москве в последние годы некоторые зарубежные вакцины недоступны, ибо производители отказались их поставлять.

01.01.09
01.01.09
14 дней(-я) назад
В ответ на:  власов

Огласите весь список, пожалуйста

власов
власов
13 дней(-я) назад
В ответ на:  01.01.09

Нет уж, вам интересен весь спиок, вы его и составьте
Я ограничусь примером: https://openmedia.io/news/rossiya-ostalas-bez-populyarnoj-vakciny-ot-grippa/

01.01.09
01.01.09
12 дней(-я) назад
В ответ на:  власов

В следующем сезоне она уже была…

Валерий
Валерий
15 дней(-я) назад
В ответ на:  Eвгений

Никакой блок-схемы (flow-chart) там нет. Там есть trial profile, который не имеет ничего общего с flow-chart, которая описывает процесс отбора (включение/исключение) участников.
См. http://www.consort-statement.org/Media/Default/Downloads/Translations/Russian_ru/Russian%20CONSORT%20Flow%20Diagram.pdf

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Валерий

На дубль комментария — дубль ответа

То есть из-за того что в подписи к рисунке нет слов «flow-chart» делается вывод, что блок-схем нет?

В приведенном мной примере (в других комментариях) «такого же исследования» блок-схема, оформленная в строгом соответствии с CONSORT (насколько могу судить при сравнении её с шаблоном) называется … Figure S1 Trial Profile . Слово «flow-chart» так же отсутствует.

Eвгений
Eвгений
16 дней(-я) назад

«а) таблицы S3–S6 содержат оценки статистических параметров для значений антител в день 0 равные 1 и 1,250, в то время как в тексте статьи авторы сообщают о том, что «у всех добровольцев не было антител к SARS-CoV-2 в день 0» [1]. Этому нет объяснений»

И этому объяснение нашлось.(болд мой)

«The OD signals were determined with a spectrophotometer Multiskan FC (Thermo Fisher Scientific Inc, USA) at 450 nm. The IgG titer was determined as the maximum dilution of serum, in which the OD450 value of the serum of the immunized participant exceeds the value of the control serum (serum of the participant before immunization) by more than 2 times»

То есть титр определялся, как разведение, при котором сигнал OD450 (всё еще был) больше чем 2 раза относительно сигнала от контрольной сыворотки, взятой в нулевой день. А так как сыворотка, взятая в нулевой день, не разводилась, то для неё и указано — 1.

Как можно было увидеть фразу «as all volunteers didn’t have antibodies to SARS-CoV-2 on day 0 of the trials», и не прочитать весь текст этого абзаца — мне совершенно непонятно.

Ольга
Ольга
16 дней(-я) назад
В ответ на:  Eвгений

Отсутствие антител — не то же самое, что они не определяются использованным методом.

Eвгений
Eвгений
16 дней(-я) назад
В ответ на:  Ольга

Извините, но этот Ваш комментарий я не понял.

  1. Авторы этой статьи на ТрВ не могут найти объяснений, откуда взялись ненулевые значения титров антител у добровольцев, у которых отсутствуют антитела к SARS-CoV-2.
  2. Логунов и соавторы в первом (и втором) абзаце приложения подробно описывают методику расчета титров антител.
  3. Согласно этой методике значения титра не может быть меньше единицы ни в каком случае. Даже если измеряется титр антител в стерильном физрастворе.

И дело не в определении или не определении, а в том, что раствор невозможно развести в менее чем один раз, так как «разведение в один раз» — это есть исходный раствор.

Игорь
Игорь
16 дней(-я) назад
В ответ на:  Eвгений

Возможно, это и правильно из каких-то соображений указывать титр 1 в случае отсутствия антител (или необнаружения их данным методом), но ваша цитата этого не объясняет.

Смотрите, там же в качестве ответа предложено брать тот титр, при котором сигнал (OD450 value) более чем вдвое превосходит «эталонный сигнал» — таковой сигнал для сыворотки того же участника до иммунизации.

Понятно, что если попробовать применить это правило для самой сыворотки до иммунизации, то оно просто не даст никакого ответа – так как не существует такого титра. Ведь без разведения (титр 1) сигнал равен эталонному, а при разведении будет меньше. Превышения более чем вдвое не получится ни при каком титре. Так что ответ 1 никак из этого правила не следует.

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Игорь
  1. Все таки «титр антител» — это не количество антител. Титр антител рассчитывается как разведение сывортки.
  2. Для дня ноль сыворотка не разводится, поэтому формально присваивается значение «один». Кстати, для нейтрализующих антител процедура несколько другая, и там значение, отличное от единицы (но не меньше единицы) может получаться и для сыворотки нулевого дня. Это объясняет значение 1.25.
  3. Насколько это корректно или некорректно — обсуждать не готов. Но вопрос в другом: авторы статьи в ТрВ не могли найти объяснения ненулевых значений титра антител в нулевой день, а эти объяснения есть в приложении к статье в «Ланцете».
Игорь
Игорь
15 дней(-я) назад
В ответ на:  Eвгений

2-3. Я не специалист, не знаю, может быть, формально присваивать титр 1 в такой ситуации – и правда общепринятая практика. Но ни в тексте статьи, ни в приложении про это ничего не написано. (А сформулированное в статье общее правило не работает для сыворотки нулевого дня, как я показал выше).

Если же исходить из физического смысла, то все остальные титры (которые больше 1) оказываются численно прямо пропорциональны концентрации антител. (Разумеется с точность до погрешности, которая неизбежна, поскольку не проверяются промежуточные разведения). Поэтому сыворотке, в которой совсем нет антител (как и дистиллированной воде) кажется логичным приписать титр 0. Тем более, что смысл имеет всё же именно концентрация антител, а титрами приходится обходиться лишь потому, что концентрацию напрямую мерить не умеем.

Так что с претензией к авторам статьи в ТрВ, что они не смогли найти в исходной статье объяснений ненулевых значений, я не согласен. Там нет этих объяснений. (Может быть, я не знаю, подобные объяснения и излишни для специалистов, которые в теме, и поэтому их нет в статье…).

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Игорь
  1. Титр, как его измеряет Логунов и соавторы, — это разведение сыворотки. И не строят на основании этих данных оценку количества антител.
  2. Сывортка (и любой другой раствор) не может быть разведен «в ноль раз». То есть нулевого значения быть не может, даже для физраствора.
Игорь
Игорь
14 дней(-я) назад
В ответ на:  Eвгений

Все же титр по своему смыслу – способ выразить концентрацию. Смотрите определение хоть в википедии https://en.wikipedia.org/wiki/Titer , хоть в других источниках. То есть интересна по существу дела на самом деле концентрация – которая нулю может равняться. А то, что титр не может получиться меньше 1 – это всего лишь ограничение данного метода измерения.

Поэтому математически корректно образцу без антител приписывать титр 0. А какие на эту тему есть традиции у специалистов – я не в курсе. В обсуждаемой статье про это нет ничего.

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Игорь

«Титр антител» — это некая функция от концентрации антител, в идеале — не убывающая. Это всё, что мы знаем о зависимости между «титром антител» и количеством антител.

В статье в википедии, на которую Вы ссылаетесь, указано:

Titer testing employs serial dilution to obtain approximate quantitative information from an analytical procedure that inherently only evaluates as positive or negative. The titer corresponds to the highest dilution factor that still yields a positive reading.[

Что подтверждает, что Логунов и др. правильно понимают, что такое «титр».

Так как разведения в ноль раз не бывает, то и титр не может быть нулём.

Игорь
Игорь
15 дней(-я) назад
В ответ на:  Eвгений

Вы, кстати, никак не прокомментировали титр 1,250. Это из таблицы S6. Но там речь идет про нейтрализующие антитела, которые измерялись другим способом. Не уверен, что я его понимаю. Может это и нормально, но хотелось бы объяснений.

Впрочем, здесь неаккуратно написано и у критиков. Они вроде как сопоставляют таблицы S3-S6 (из Supplementary appendix) с рисунком 2. На самом же деле к рисунку 2 относятся только S3 и S4. А S5 и S6 надо сопоставлять с рисунком 4. А там и в нулевой день есть точки выше горизонтальной оси. (Хотелось бы понять, почему).

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Игорь
  1. Титр 1.250 я уже прокомментировал выше, но на данный момент комментарий находится на премодерации.
  2. Вот в этом месте у критиков написано аккуратно. Таблица S6 относится к нижним панелям на рисунке 2. Рисунок 4 — это про антитела к векторам вакцины.
  3. Как измеряются NtAb к вирусу описано во втором абзаце приложения. Исходя из описания, может потребоваться небольшие разведения и сыворотки нулевого дня, что и произошло — судя по среднему геометрическому 1.250 для нулевого дня.
  4. Как измеряются NtAb к векторам описано в последнем абзаце Appendix 1 Determination of immunogenicity. Со слов «To determine rAd-specific NtAb titers,»
Игорь
Игорь
15 дней(-я) назад
В ответ на:  Eвгений

2. Да, вы правы, тут я перепутал.

3. Но тут тогда совсем странно. Таблица S6 соответствует панели D рисунка 2 (нижней правой), таблица S5 – панели C (нижней левой). На обеих панелях все точки нулевого дня расположены точно на горизонтальной оси, деления вертикальных осях этих панелей не отличаются. Почему же тогда среднее для нулевого дня в таблице S5 – 1, а в таблице S6 – 1,250?

Нет, я понимаю, как в принципе можно получить 1,250: первое деление по вертикали 2,5, а типа здесь должно быть вдвое меньше. Но тогда и на панели C точкам на оси должно соответствовать значение не 1, а 1,25 и, значит, в таблице S5 должно быть 1,250. (Хуже того, по этой логике точкам на оси панелей A и B должно соответствовать значение 12,5, а не 1, как в таблицах S3 и S4)

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  Игорь

> Почему же тогда среднее для нулевого дня в таблице S5 – 1, а в таблице S6 – 1,250?

Видимо, в первом случае сыворотка нулевого дня не потребовала разведения и сразу критерии были выполнены, а вот втором — потребовала некоторого небольшого разведения.

> Нет, я понимаю, как в принципе можно получить 1,250: первое деление по вертикали 2,5, а типа здесь должно быть вдвое меньше.

Это не верные рассуждения. Графики вторичны. Они же сначала числа получали, а уже потом кружочки на графиках рисовали.

Игорь
Игорь
14 дней(-я) назад
В ответ на:  Eвгений

>Видимо, в первом случае сыворотка нулевого дня не потребовала разведения и сразу критерии были выполнены, а вот втором — потребовала некоторого небольшого разведения.

Может быть и так, хотя это удивительно. (В нулевой день группы вроде ничем не должны были отличаться). Но почему эта разница не видна из сравнений панелей C и D?

> Графики вторичны. Они же сначала числа получали, а уже потом кружочки на графиках рисовали.

По идее – да. Но нам они эти данные показали только в виде кружочков на графике. (Более того, сами в первых строках ответа подчеркивают, что на этих графиках все индивидуальные данные видны!). Поэтому и приходится делать выводы, опираясь на графики.

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  Игорь

>  Но почему эта разница не видна из сравнений панелей C и D?

Не знаю. Всё таки это разные группы. Согласен, что данные для нулевого дня в этих панелях могли бы и не загрублять. Но это никак не повлияло на выводы.

> подчеркивают, что на этих графиках все индивидуальные данные видны!

Они и видны. С ограничениями, связанными с ограничениями визуализации данных на графиках.

власов
власов
15 дней(-я) назад
В ответ на:  Eвгений

Евгений, расскажите, пожалуйста, кто это вас модерирует? В ТрВ такой практики нет)

Eвгений
Eвгений
15 дней(-я) назад
В ответ на:  власов

Сразу после отправки мои комментарии находятся в статусе Awaiting for approval и не доступны другим читателям.
Насколько знаком с около сетевой терминологией, такая практика называется премодерация комментариев.
Кто её выполняет — сиё мне неведомо. Кто-то из администрации этого сайта, видимо.

Агриппина Ваганова
Агриппина Ваганова
15 дней(-я) назад
В ответ на:  власов

Есть. Для новых комментаторов, вероятно. Мой коммент вчера был под фильтром.

Агриппина Ваганова
Агриппина Ваганова
15 дней(-я) назад

и сегодня

модер.png
Максим Борисов
15 дней(-я) назад

В общем случае премодерация конечно есть, тем более для новых участников и во избежание потенциального хулиганства. Это необходимый элемент безопасности.

PS Это не единственная причина задержек. Помимо стоп-слов, есть какие-то странности движка, кого-то он никак не пропускает сам (возможно, из-за особенностей вхождения, использования кук или перелогинивания на других компьютерах). Не везде сознательная воля админов. Создавать себе лишнюю работу, контролируя абсолютно все, никому не хочется.

Old_Scientist
Old_Scientist
15 дней(-я) назад
В ответ на:  Максим Борисов

Это очень интересное объяснение необходимости премодерации. Мои комментарии попадают на обязательную премодерацию уже несколько лет. Теперь понятно, почему. Репутация плохая.

Агриппина Ваганова
Агриппина Ваганова
15 дней(-я) назад
В ответ на:  Максим Борисов

Согласна )

Alex
Alex
14 дней(-я) назад

Под премодерацию здесь попадают те, кого подозревают в сочувствии путинскому режиму, или в недостаточной любви к НАТО. Вы защищаете путинскую вакцину, значит враг.

res
res
15 дней(-я) назад

Мне представляется, что история этой статьи целиком укладывается во всю эту атмосферу истерии, страха и циничного хайпа, которая окружает тему ковида-19.
Всё это очень далеко от научного подхода. ((
Возможно этим объясняется поверхностное отношение к статье со стороны рецензентов, если они были (?)) ), и редакторов.

В.П.
В.П.
15 дней(-я) назад
В ответ на:  res

Вакцина sputnikV в России сертифицирована и применяется. Вполне возможно, что редколлегия журнала посчитала, что представленное в журнал описание лучше чем никакого. Я так понимаю, что авторы могли бы вообще ничего не публиковать. А благодаря публикации потенциальные покупатели вакцины имеют возможность с помощью экспертов делать какие-то выводы.

власов
власов
14 дней(-я) назад
В ответ на:  В.П.

Есть нюанс: спонсор очевидно желает выйти на мировой рынок, а тут без обнародования данных испытаний — никак. Конечно, ключевые решения будут приниматься по результатам 3-й фазы, но весь мир же заключает контракты заблаговременные с пфайзерами… Вот спонсор и поддержал этой публикацией выход на международную арену. И пока, вроде, получается.
Журнал сделал то, что сегодня делают все журналы: привлекает к себе внимание оперативной публикацией, которая привлечет его с наибольшей вероятностью. Оперативностью все и объясняется. текст, кажется, не то что литературный редактор не читал, что обычно для Ланцета, но даже и научный лишь пробежал глазами по диагонали.
Scary times

Никита Хромов-Борисов
Никита Хромов-Борисов
14 дней(-я) назад

Извините, кажется, мы упустили из виду признание авторов: Limitations of our studies include the short duration of follow-up (42 days), inclusion of only male volunteers in some parts of phase 1, the low number of participants (n=76), and no placebo or control vaccine.   По-моему, без данных о плацебо эту публикацию обсуждать бессмысленно. При этом очевидно, что в качестве плацебо (а не непонятной «контрольной вакцины») должны выступать те же рекомбинантные аденовирусные векторы типа 26 (rAd26) и типа 5 (rAd5), НО БЕЗ вставки полноразмерного гена для гликопротеина S коронавируса SARS-CoV-2. В противном случае все наблюдаемые эффекты можно приписать вектору, а не коронавирусному гликопротеину S. Более того, наверняка образование этого гликопротеина требует процессинга — гликозилирования первичной белковой последовательности. Антигенными детерминантами наверняка являются именно гликозилированные участки. Поэтому нужны (крайне желательны) доказательства и контроль того, что гликозилирование белка S происходит в клетках человека после инъекции вектора.   Есть ли среди комментаторов специалисты по титрованию антител? Меня смущает, что авторы исходно измеряют оптическую плотность (OD450) после каждого разведения в сыворотке «иммунизированного» участника и в контроле (в сыворотке участника до «иммунизации»). Значения в опыте делили на значения контроле. Не описано, в скольких лунках на 96-луночной плашке помещали обе пробы, в каком порядке (а это немаловажно). Титр… Подробнее »

Eвгений
Eвгений
14 дней(-я) назад

> По-моему, без данных о плацебо эту публикацию обсуждать бессмысленно. При этом очевидно, что в качестве плацебо (а не непонятной «контрольной вакцины») должны выступать те же рекомбинантные аденовирусные векторы типа 26 (rAd26) и типа 5 (rAd5), НО БЕЗ вставки полноразмерного гена для гликопротеина S коронавируса SARS-CoV-2. Вероятно, фраза о «контрольной вакцине» была включена под впечатлением от статьи в «Ланцете» про испытания оксфордской вакцины, которая вышла на полтора месяца ранее. (https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)31604-4/fulltext#sec1). Там в контрольных группах использовалась менингококковая вакцина: We did a phase 1/2 single-blind, randomised controlled trial of ChAdOx1 nCoV-19 compared with a licensed meningococcal group A, C, W-135, and Y conjugate vaccine (MenACWY; Nimenrix, Pfizer, UK), as control vaccine. === Есть ли среди комментаторов специалисты по титрованию антител? Меня смущает, что авторы исходно измеряют оптическую плотность (OD450) после каждого разведения в сыворотке «иммунизированного» участника и в контроле (в сыворотке участника до «иммунизации»). …. Авторы ничего не сообщают о степени варьирования таких измерений, хотя очевидно, что у всех таких измерений есть варьирование (измеряемое стандартным отклонением), и точность (измеряемая стандартным отклонением или доверительным интервалом — ДИ). При делении варьирующих величин их относительная ошибка всегда больше, чем у каждой по отдельности и заведомо величина их отношения не имеет нормального распределения.   Поэтому строго… Подробнее »

власов
власов
14 дней(-я) назад
В ответ на:  Eвгений

Евгений,
я не могу уверенно ничего сказать по второй части, а что касается первой, то предполагаю, что мотивом основным было желание представить ничтожное по размерам, кривое по дизайну и исполнению испытание как сравнительное испытание. Это обычно вполне.
Вы предполагаете максимально строгий дизайн сравнительного испытания. В нем заинтересован потребитель (ширнармассы и ученые). Спонсор заинтересован в гарантированном позитивном исходе. Отсюда баланс.
Они планировали, как я понимаю, исследование типа до-после. И это нормально для второй фазы. Но им захотелось представить выход как сравнительное испытание. Для этого и подтянули внешний контроль.
И даже в этом не было бы ничего предосудительного, если бы было добавлено сравнение с внешним контролем, даже не предусмотренным в протоколе. Но это должно было бы быть добросовестно описано.

Eвгений
Eвгений
14 дней(-я) назад
В ответ на:  власов

Василий Викторович,
с интересом прочитал Ваше мнение о мотивации участников процесса.
С последним абзацем — полностью согласен.
Отмечу только, что первая часть моего прошлого комментария относилась не к сравнению с плазмой выздоравливающих (к выполненному сравнению с внешним контролем), а к упоминанию «контрольной вакцины» во фразе из описания ограничений, которую процитировал уважаемый Никита Николаевич Хромов-Борисов.

власов
власов
13 дней(-я) назад
В ответ на:  Eвгений

Пардону прошу

Игорь
Игорь
13 дней(-я) назад
В ответ на:  власов

Вы один из авторов обсуждаемого материала, если не ошибаюсь? Кажется, вы не все ошибки обработки данных нашли: https://trv-science.ru/2020/11/covid-19-logunov-retraction/#comment-1150991

власов
власов
13 дней(-я) назад
В ответ на:  Игорь

Спасибо, что посчитали. Почти уверен, что не все. Но теперь мне уже думается, что если получить исходные данные то вообще откроется бездна

Eвгений
Eвгений
12 дней(-я) назад
В ответ на:  власов

Не думаю, что в этом месте какой-то серьезный криминал.

Гораздо хуже другое: пресловутое число 3442 в тексте действительно неизвестно откуда взялось. Уважаемый Игорь был более тщателен и проверил источник второго числа в обсуждаемой фразе: https://trv-science.ru/2020/11/covid-19-logunov-retraction/#comment-1150992

Eвгений
Eвгений
11 дней(-я) назад

По гамалеевской вакцине обнародовали (тут https://sputnikvaccine.com/newsroom/pressreleases/second-interim-analysis-of-clinical-trial-data-showed-a-91-4-efficacy-for-the-sputnik-v-vaccine-on-d/) результаты по новой контрольной точке: 39 подтвержденных случаев в обеих группах (31 заболевший COVID-19 среди получавших плацебо плюс восемь — среди привитых вакциной). Соотношение контрольной группы к вакцинированной составляет один к трем.

С этими данными оценки получаются такие:
1. Точечная оценка эффективности: 91,4 %
2. 95%-й доверительный интервал: от 71,6% до 97,8%

Eвгений
Eвгений
10 дней(-я) назад

Вышел пресс-релиз по оценке эффективности оксфордской вакцины: https://www.astrazeneca.com/media-centre/press-releases/2020/azd1222hlr.html
Я посчитал доверительные интервалы, по предоставленным там данным. Для этого пришлось восстановить распределение заболевших по группам с учетом отношения контрольных и тестовых групп как 1:1 и указанных в пресс-релизе точечных оценок эффективности.

Получились такие данные.
95%-й ДИ для оксфордской вакцины для «хорошей группы» (режим вакцинации: половина дозы\полная доза): от 49,3% до 98,9%.
95%-й ДИ для оксфордской вакцины для «плохой группы» (режим вакцинации: полная доза\полная доза): от 23,2% до 81,8%.
95%-й ДИ для оксфордской вакцины для обеих групп в сумме: от 44,0% до 84,8%.

Для сравнения, для СпутникV:
95%-й ДИ для СпутникV:
а) по 20 случаям: от 55,4% до 98,9%
б) по 39 случаям: от 71,6% до 97,8%

Напомню, что оценки эффективности вакцины СпутникV после выхода данных по 20 случаям авторы статьи в ТрВ характеризовали так:

«Кроме того, 92% эффективности получены расчетом на основании всего 20 случаев. В момент анализа включенные в него участники получили только первую дозу вакцины. Это совершенно неприемлемая, даже смехотворная политическая акция по навязыванию соревнования разрабатываемых вакцин с нарушением важнейших норм проведения испытаний.»

Интересно, как они прокомментируют данные по Оксфордской вакцине.

Игорь
Игорь
9 дней(-я) назад
В ответ на:  Eвгений

А не поясните, как именно и из каких соображений считаются доверительные интервалы?

Казалось бы – чем меньше случаев, тем шире должен быть доверительный интервал. Можете объяснить, почему у вас получилось наоборот? (По вашей ссылке: в испытании оксфордской вакцины – 131 заболевших).

Eвгений
Eвгений
9 дней(-я) назад
В ответ на:  Игорь

Во-первых, обратите внимание, что в данном случае ДИ не могут быть симметричны относительно точечной оценки. Если точечная оценка близка к 100%, то «хвост» в меньшую сторону будет гораздо более длинным, чем в большую.
Поэтому Ваше утверждение:
> чем меньше случаев, тем шире должен быть доверительный интервал.

верно только в случае совпадения точечных оценок. В остальных — по-разному может сложиться.

Во-вторых. Если восстановить распределение 131 случая по группам (из известных точечных оценок и соотношения контроль:тест как 1:1), то получится так:

а) «Хорошая группа»: 3 случая в группе вакцинированных, 30 случаев в контрольной группе.
б) «Плохая группа»: 27 случаев в группе вакцинированных, 71 случаев в контрольной группе.

Для а) Нижняя граница ДИ несколько меньше, чем по первому пресс-релизу по СпутникуV, потому что меньше случаев в группе вакцинированных (3 вместо 4) и размер групп меньше, чем у СпутникаV.
Для б) Нижняя граница ДИ улетела ниже плинтуса, потому что точечная оценка низкая — всего 62%.

О том как считать ДИ — это в учебники. Можете посмотреть тут: https://dxdy.ru/topic143665.html. Только учитывайте, что тему нужно читать полностью, в промежуточных результатах были неточности, которые были потом исправлены.

Eвгений
Eвгений
9 дней(-я) назад
В ответ на:  Игорь

Кстати, Вас наверняка удивит вот такой факт.

Сейчас у Пфайзера по финальному отчету 170 случаев (8 — вакцина, 162 — плацебо). Что дает следующие оценки:
Точечная оценка: 95,1%
95% ДИ: от 87.4% до 98.4

У разработчиков СпутникV финальный отчет будет по 78 случаям.
Если точечная оценка будет 95,1% (как сейчас у Пфайзера), то случаи распределяться так: 10 — вакцина, 68 — плацебо.
При это 95% ДИ будет таким: от 87.1 до 98.4
То есть в точности таким же как сейчас у Пфайзера. А случаев для этого потребуется более чем в два меньше.

Догадываетесь, почему так?

Игорь
Игорь
8 дней(-я) назад
В ответ на:  Eвгений

У меня сейчас нет времени проверить числа, но то, что получается та же ширина ДИ на значительно меньшем ОБЩЕМ числе случаев – совершенно не удивительно. Ведь на ширину ДИ сильнее всего влияют маленькие целые числа, в данном случае – это число заболевших среди вакцинированных. Поскольку в контрольной группе болеют в разы чаще, уменьшение ее в несколько раз слабо влияет на ширину ДИ.

Что касается моего предыдущего вопроса, то там ведь и число заболевших вакцинированных было меньше у Спутника (чем в группе «б» у оксфордской).
И спасибо за ответ. Да, возможно, низкая точечная оценка объясняет такую разницу. Если будет время – посмотрю внимательнее на расчеты.

Eвгений
Eвгений
8 дней(-я) назад
В ответ на:  Игорь

Да.
Всё так.

Eвгений
Eвгений
9 дней(-я) назад
В ответ на:  Игорь

Кстати, вот тут: https://github.com/benkeser/pfizerresults есть небольшой кусок кода на R для расчета ДИ на основе байесовского вывода.

Он легко адаптируется для расчета ДИ по любым входным данным, но только если контрольная и тестовая группа равны.
Я сравнил то, что выдаёт мой «калькулятор ДИ», с тем, что выдаёт этот код.
Результаты близки, у меня ДИ получаются несколько шире.

На примере Пфайзера: 170 случаев, 8 на 162, 98.6% ДИ:

«Мой калькулятор»: от 85.2% до 98.8%
«Калькулятор с гитхаба»: от 87.8% до 98.4%

Как прикрутить этот код к случаю неравных тестовой и контрольной групп не разбирался.

Игорь
Игорь
8 дней(-я) назад
В ответ на:  Eвгений

> Как прикрутить этот код к случаю неравных тестовой и контрольной групп не разбирался.

Для грубой оценки я бы предложил просто мысленно уменьшить контрольную группу (и, соответственно, число заболевших в ней) в 4 раза. Полученный доверительный интервал окажется, конечно, шире настоящего. Но не думаю, что значительно шире.

Update:
Ой, нет, полную чушь написал. Контрольная группа и так меньше в 4 раза, чем группа вакцинированных. Так что ее надо не уменьшать, а увеличивать в 4 раза. Тогда получится ДИ уже настоящего.

Последняя редакция 8 дней(-я) назад от Игорь
Eвгений
Eвгений
8 дней(-я) назад
В ответ на:  Игорь

> Так что ее надо не уменьшать, а увеличивать в 4 раза. Тогда получится ДИ уже настоящего.

а) в три раза. В исследованиях по СпутникV группы относятся как 3:1.

б) Нельзя так делать. Это сильно уменьшит ДИ.
Все таки 31 из 4699, это не тоже самое, что 93 из 14097.

власов
власов
9 дней(-я) назад
В ответ на:  Eвгений

Евгений, спасибо, что посчитали.
Увы бедному Оксфорду.
Проблема для меня, однако, заключается не столько в числах, сколько в доверии. При таком широком перекрытии ДИ на первом месте оказывается именно доверие к исходному материалу, точнее, к тому, что представлено.

Eвгений
Eвгений
9 дней(-я) назад
В ответ на:  власов

Василий Викторович, спасибо за ответ.

Правильно ли я понимаю, что доверие к исходному материалу исследователей, у которых
а) из-за ошибки 2741 человеку при первой вакцинации ввели не полную дозу, а половину (см. например тут https://www.cnbc.com/2020/11/23/dosing-error-paved-the-way-for-astrazeneca-and-oxford-vaccine-effectiveness.html)
б) эта ошибка внезапно показала большую эффективность вакцины в таком режиме дозирования,
в) однако, этот вывод не является статистически значимым,
г) но тем не менее они публикуют его в пресс-релизе, и на основании его будут подавать заявку в регулирующие органы

всё таки выше, чем к исходному материалу разработчиков СпутникV?

Последняя редакция 9 дней(-я) назад от Eвгений