Большая советсткая энциклопедия Корреляция (в матем. статистике)

Корреляция (в матем. статистике)

Корреляция в математической статистике, вероятностная или статистическая зависимость, не имеющая, вообще говоря, строго функционального характера. В отличие от функциональной, корреляционная зависимость возникает тогда, когда один из признаков зависит не только от данного второго, но и от ряда случайных факторов или же когда среди условий, от которых зависят и тот и другой признаки, имеются общие для них обоих условия. Пример такого рода зависимости даёт корреляционная таблица. Из таблицы видно, что при увеличении высоты сосен в среднем растет и диаметр их стволов; однако сосны заданной высоты (например, 23 м) имеют распределение диаметров с довольно большим рассеянием. Если в среднем 23-метровые сосны толще 22-метровых, то для отдельных сосен это соотношение может заметным образом нарушаться. Статистическая К. в обследованной конечной совокупности наиболее интересна тогда, когда она указывает на существование закономерной связи между изучаемыми явлениями.

В основе теории К. лежит предположение о том, что изучаемые явления подчинены определённым вероятностным закономерностям (см. Вероятность, Вероятностей теория). Зависимость между двумя случайными событиями проявляется в том, что условная вероятность одного из них при наступлении другого отличается от безусловной вероятности. Аналогично, влияние одной случайной величины на другую характеризуется законами условных распределений первой при фиксированных значениях второй. Пусть для каждого возможного значения Х = х определено условное математическое ожидание у (х) = Е (YIX = х) величины Y (см. Математическое ожидание). Функция у (х) называется регрессией величины Y по X, а её график — линией регрессии Y по X. Зависимость Y от Х проявляется в изменении средних значений Y при изменении X, хотя при каждом Х = х величина Y остаётся случайной величиной с определенным рассеянием. Пусть m_Y = Е (Y) — безусловное математическое ожидание Y. Если величины независимы, то все условные математические ожидания Y не зависят от х и совпадают с безусловными:

у (х) = Е (YIX = х) = Е (Y) = m_Y.

Обратное заключение не всегда справедливо. Для выяснения вопроса, насколько хорошо регрессия передаёт изменение Y при изменении X, используется условная дисперсия Y при данном значении Х = х или её средняя величина — дисперсия Y относительно линии регрессии (мера рассеяния около линии регрессии):

².

При строгой функциональной зависимости величина Y при данном Х = х принимает лишь одно определенное значение, то есть рассеяние около линии регрессии равно нулю.

Линия регрессии может быть приближённо восстановлена по достаточно обширной корреляционной таблице: за приближённое значение у (х) принимают среднее из тех наблюдённых значений Y, которым соответствует значение Х = х. На рисунке изображена приближённая линия регрессии для зависимости среднего диаметра сосен от высоты в соответствии с таблицей. В средней части эта линия, по-видимому, хорошо выражает действительная закономерность. Если число наблюдений, соответствующих некоторым значениям X, недостаточно велико, то такой метод может привести к совершенно случайным результатам. Так, точки линии, соответствующие высотам 29 и 30 м, ненадёжны ввиду малочисленности материала. См. Регрессия.

В случае К. двух количественных случайных признаков обычным показателем концентрации распределения вблизи линии регрессии служит корреляционное отношение

,

где — дисперсия Y (аналогично определяется корреляционное отношение , но между и нет какой-либо простой зависимости). Величина , изменяющаяся от 0 до 1, равна нулю тогда и только тогда, когда регрессия имеет вид у (x) = m_Y, в этом случае говорят, что Y некоррелирована с X, равняется единице в случае точной функциональной зависимости Y от X. Наиболее употребителен при измерении степени зависимости коэффициент корреляции между Х и Y

всегда —1 £ r £ 1. Однако практическое использование коэффициента К. в качестве меры зависимости оправдано лишь тогда, когда совместное распределение пары (X, Y) нормально или приближённо нормально (см. Нормальное распределение); употребление r как меры зависимости между произвольными Y и Х приводит иногда к ошибочным выводам, т. к. r может равняться нулю даже тогда, когда Y строго зависит от X. Если двумерное распределение Х и Y нормально, то линии регрессии Y по Х и Х по Y суть прямые у = m_Y+b_Y (x — mx) и х = mx+b_x (у — m_Y), где и ; b_Y и b_X именуются коэффициентами регрессии, причём

.

Так как в этом случае

Е (Y - y (x))² = s²_Y (1 - r²)

и

Е (Y - x (y))² = s²_X (1 - r²)

то очевидно, что r (корреляционные отношения совпадают с r² полностью определяет степень концентрации распределения вблизи линий регрессии: в предельном случае r = ± 1 прямые регрессии сливаются в одну, что соответствует строгой линейной зависимости между Y и X, при r = 0 величины не коррелированы.

Корреляция между диаметрами и высотами 624 стволов северной сосны

Диаметр, см	Высота, м														Итого
	17	18	19	20	21	22	23	24	25	26	27	28	29	30
14-17	2	2	5	1											10
18-21	1	3	3	12	15	9	4								47
22-25	1	1	1	3	18	24	29	14	7						98
26-29					7	18	30	43	31	3	2				134
30-33					1	5	18	29	35	18	7	1			114
34-37						1	3	17	33	26	12	6			98
38-41							2	2	10	19	16	4			53
42-45									4	13	6	8		1	32
46-49								3	3	7	6	2	1		22
50-53									1	4	4	2	1		12
54-57										1	1	1			3
58 и более											1				1
Итого	4	6	9	16	41	57	86	108	124	91	55	24	2	1	624
Средний диаметр	18,5	18,6	17,7	20,0	22,9	25,0	27,2	30,1	32,7	38,3	40,0	41,8	49,5	43,5	31,2

При изучении связи между несколькими случайными величинами X₁,..., X_n пользуются множественными и частными корреляционными отношениями и коэффициентами К. (последними по-прежнему в случае линейной связи). Основной характеристикой зависимости являются коэффициенты r_ij — простые коэффициенты К. между X_i и X_j, в совокупности образующие корреляционную матрицу (r_ij) (очевидно, r_ij = r_ji и r_kk =1). Мерой линейной К. между X₁ и совокупностью всех остальных величин X₂,..., X_n служит множественный коэффициент К., равный при n = 3

.

Если предполагается, что изменение величин X₁ и X₂ определяется в какой-то мере изменением остальных величин X₃,..., X_n, то показателем линейной связи между X₁ и X₂ при исключении влияния X_3,..., X_n; является частный коэффициент К. X₁ и X₂ относительно X₃,..., X_n, равный в случае n= 3

Множественные и частные корреляционные отношения выражаются несколько сложнее.

В математической статистике разработаны методы оценки упомянутых выше коэффициентов и методы проверки гипотез об их значениях, использующие их выборочные аналоги (выборочные коэффициенты К., корреляционные отношения и т. п.). См. Корреляционный анализ.

Лит.: Дунин- Барковский И. В., Смирнов Н. В., Теория вероятностей и математическая статистика в технике (Общая часть), М., 1955; Крамер Г., Математические методы статистики, пер. с англ., М., 1948; Хальд А., Математическая статистика с техническими приложениями, пер. с англ., М., 1956; Ван дер Варден Б. Л., Математическая статистика, пер. с нем., М., 1960; Митропольский А. К., Техника статистических вычислений, 2 изд., М., 1971.

А. В. Прохоров.