Корреляция измеряет связь между двумя переменными. Важная оговорка: при прочих равных [Грас-20, 91]. Попробуем в этой заметке разобраться. С котиками.
Возьмём данные о проектах на краудфандинговой площадке «Кикстартер» на январь 2018 [Kaggle].
Хорошо видно, что вероятность успеха выше, если участник предлагает проект, связанный с разработкой программного обеспечения, а не сайтов. Но это лишь на первый взгляд. Разделим проекты ещё на две группы, скажем, одни запросили больше 17 тысяч долларов (около миллиона рублей), а другие — меньше.
Заметно, что большего успеха добиваются проекты с чуть более скромными запросами. Мы нашли совсем иную связь между переменными. По-другому это называется парадоксом объединения и связано со спутывающими переменными.
В сериале «Теория большого взрыва» (S10E4) физик-теоретик Шелдон хочет принять участие в эксперименте вместе с Эми, микробиологом:
Шелдон: Как ты смеешь!
Калифорнийский университет однажды получил судебный иск. Беспокойным гражданам показалось, что девушек дискриминируют, поскольку их доля среди поступивших была меньше. Спутывающей переменной в том случае послужил факультет: большая часть девушек поступали на факультеты, где доля зачисленных абитуриентов была ниже. Сверх того, немалое число факультетов приняли даже больше девушек, чем молодых людей. Иск был отклонён [Бослаф-15, 177].
Одно и то же лекарство при тестировании в разных группах может хорошо показать себя. Но если эти группы объединить, то эффективность становится меньше [Бослаф-15, 177].
А вывод простой и вполне ожидаемый в области data science: знай свои данные.
Рисовала Арина Филимонова (самая лучшая 601 группа)
[b][Kaggle][/b] Kaggle. Kickstarter Projects: https://www.kaggle.com/kemical/kickstarter-projects?select=ks-projects-201801.csv
[b][Грас-20][/b] Грас Дж. Data Science. Наука о данных с нуля: Пер. с англ. — СПб.: БХВ-Петербург, 2020. — 336 с.: ил. ISBN 978-5-9775-3758-2
[b][Бослаф-15][/b] Бослаф С. Статистика для всех. / Пер. с англ. П. А. Волкова, И. М. Флямер, М. В. Либерман, А. А. Галицына. — М.: ДМК Пресс, 2015. — 586 с.: ил.