Dig386 писал(а): ↑Самый очевидный ответ - что в Интернете такие тесты нередко могут искать те, кто подозревают у себя РАС. Т.е. сильно не случайные люди и получается систематическая ошибка.
Более того, мы специально так набирали. Это не баг, это фича. Рекламировали через людей, имеющих отношение к проблеме, и по особым сообществам в соцсетях, а дальше уже snowball sampling - когда дальше распространяют информацию участники выборки. В итоге у нас больше трети сетевой выборки люди с РАС, либо самодиагностированные, либо с диагнозом от специалистов. Иначе нам надо было бы набирать сетевую выборку в несколько десятков раз больше, а у нас социальный капитал таки ограничен, к сожалению.
Dig386 писал(а): ↑А достаточно ли данных, чтобы проверить статистическую значимость или незначимость отличий средних или медианных баллов по российским выборкам от западных и посчитать то же p-value? Лично мне сразу на ум приходит вещи вроде сочетания F-критерия (для дисперсий) и t-критерия (для средних). Правда, они могут быть прихотливы к виду распределения и выбросам.
Да, технически достаточно, но нет, методологически недостаточно и, в общем-то, незачем. Если сравнивать напрямую наш контроль и контроль Эрикссон, разница будет очень большая, значение p-value с десятком нулей после запятой.
Но непонятно, какая часть эффекта связана
а) с неэквивалентным набором выборок
б) с неэквивалентностью инструментов (языковые версии опросников всегда не вполне равнозначны)
в) с культурными установками, влияющими на то, как люди оценивают и указывают в опросниках собственные коммуникативные способности и особенности восприятия. По моим оценкам, это самый значимый фактор.
г) собственно, с разной степенью выраженности признака в популяциях. Да и эта разная выраженность тоже может быть связана с тучей факторов, от культурных, исторических и социальных до наследственности.
Поэтому так обычно никто не делает - не пытаются сравнивать национальные выборки напрямую, потому что различия сложно интерпретировать. Наиболее корректно было бы померить адосом (он менее чувствителен к культурным различиям) целые когорты для сравнения, но это жутко затратно и тоже непонятно, что даст.