Ответы Mail.ru: Зачем нужна корреляция когда есть регрессия?

Evgeny M. (928339) 9 месяцев назад

Да, нужно всегда проверять многомерный датасет на наличие сильно коррелирующих признаков, то есть на наличие мультиколлинеарности.

Наличие сильно коррелирующих признаков говорит о том, что на самом деле размерность пространства признаков меньше, чем количество признаков. У вас в данных лишние признаки.
В самом простом случае надо один из сильно коррелирующих признаков выкинуть перед началом процесса машинного обучения. Но еще лучше, это заменить два сильно коррелирующих признака на один, который является линейной комбинацией этих двух сильно коррелирующих признака.

Обратите внимание, что совсем не важно, откуда взялась эта корреляция признаков. Действительно ли среднее значение одного из признаков линейно зависит от среднего значения другого признака, или это случайное совпадение. На ваших данных эта зависимость есть, независимо от её природы, и машинное обучение методом линейной регрессии будет успешным, если вы избавитесь от этой зависимости.