Независимые случайные величины. Операции над случайными величинами
Две случайные величины $X$ и $Y$ называются независимыми, если закон распределения одной случайной величины не изменяется от того, какие возможные значения приняла другая случайная величина. То есть, для любых $x$ и $y$ события $X=x$ и $Y=y$ являются независимыми. Поскольку события $X=x$ и $Y=y$ независимые, то по теореме произведения вероятностей независимых событий $P\left(\left(X=x\right)\left(Y=y\right)\right)=P\left(X=x\right)P\left(Y=y\right)$.
Пример 1 . Пусть случайная величина $X$ выражает денежный выигрыш по билетам одной лотереи «Русское лото», а случайная величина $Y$ выражает денежный выигрыш по билетам другой лотереи «Золотой ключ». Очевидно, что случайные величины $X,\ Y$ будут независимыми, так как выигрыш по билетам одной лотереи не зависит от закона распределения выигрышей по билетам другой лотереи. В том случае, когда случайные величины $X,\ Y$ выражали бы выигрыш по одной и той же лотереи, то, очевидно, данные случайные величины были бы зависимыми.
Пример 2 . Двое рабочих трудятся в разных цехах и изготавливают различные изделия, несвязанные между собой технологиями изготовления и используемым сырьем. Закон распределения числа бракованных изделий, изготовленных первым рабочим за смену, имеет следующий вид:
$\begin{array}{|c|c|}
\hline
Число \ бракованных \ изделий \ x & 0 & 1 \\
\hline
Вероятность & 0,8 & 0,2 \\
\hline
\end{array}$
Число бракованных изделий, изготовленных вторым рабочим за смену, подчиняется следующими закону распределения.
$\begin{array}{|c|c|}
\hline
Число \ бракованных \ изделий \ y & 0 & 1 \\
\hline
Вероятность & 0,7 & 0,3 \\
\hline
\end{array}$
Найдем закон распределения числа бракованных изделий, изготовленных двумя рабочими за смену.
Пусть случайная величина $X$ - число бракованных изделий, изготовленных первым рабочим за смену, а $Y$ - число бракованных изделий, изготовленных вторым рабочим за смену. По условию, случайные величины $X,\ Y$ независимы.
Число бракованных изделий, изготовленных двумя рабочими за смену, есть случайная величина $X+Y$. Ее возможные значения равны $0,\ 1$ и $2$. Найдем вероятности, с которыми случайная величина $X+Y$ принимает свои значения.
$P\left(X+Y=0\right)=P\left(X=0,\ Y=0\right)=P\left(X=0\right)P\left(Y=0\right)=0,8\cdot 0,7=0,56.$
$P\left(X+Y=1\right)=P\left(X=0,\ Y=1\ или\ X=1,\ Y=0\right)=P\left(X=0\right)P\left(Y=1\right)+P\left(X=1\right)P\left(Y=0\right)=0,8\cdot 0,3+0,2\cdot 0,7=0,38.$
$P\left(X+Y=2\right)=P\left(X=1,\ Y=1\right)=P\left(X=1\right)P\left(Y=1\right)=0,2\cdot 0,3=0,06.$
Тогда закон распределения числа бракованных изделий, изготовленных двумя рабочими за смену:
$\begin{array}{|c|c|}
\hline
Число \ бракованных \ изделий & 0 & 1 & 2 \\
\hline
Вероятность & 0,56 & 0,38 & 0,06 \\
\hline
\end{array}$
В предыдущем примере мы выполняли операцию над случайными величинами $X,\ Y$, а именно находили их сумму $X+Y$. Дадим теперь более строгое определение операций (сложение, разность, умножение) над случайными величинами и приведем примеры решений.
Определение 1 . Произведением $kX$ случайной величины $X$ на постоянную величину $k$ называется случайная величина, которая принимает значения $kx_i$ с теми же вероятностями $p_i$ $\left(i=1,\ 2,\ \dots ,\ n\right)$.
Определение 2 . Суммой (разностью или произведением) случайных величин $X$ и $Y$ называется случайная величина, которая принимает все возможные значения вида $x_i+y_j$ ($x_i-y_i$ или $x_i\cdot y_i$), где $i=1,\ 2,\dots ,\ n$, с вероятностями $p_{ij}$ того, что случайная величина $X$ примет значение $x_i$, а $Y$ значение $y_j$:
$$p_{ij}=P\left[\left(X=x_i\right)\left(Y=y_j\right)\right].$$
Так как случайные величины $X,\ Y$ независимые, то по теореме умножения вероятностей для независимых событий: $p_{ij}=P\left(X=x_i\right)\cdot P\left(Y=y_j\right)=p_i\cdot p_j$.
Пример 3 . Независимые случайные величины $X,\ Y$ заданы своими законами распределения вероятностей.
$\begin{array}{|c|c|}
\hline
x_i & -8 & 2 & 3 \\
\hline
p_i & 0,4 & 0,1 & 0,5 \\
\hline
\end{array}$
$\begin{array}{|c|c|}
\hline
y_i & 2 & 8 \\
\hline
p_i & 0,3 & 0,7 \\
\hline
\end{array}$
Составим закон распределения случайной величины $Z=2X+Y$. Суммой случайных величин $X$ и $Y$, то есть $X+Y$, называется случайная величина, которая принимает все возможные значения вида $x_i+y_j$, где $i=1,\ 2,\dots ,\ n$, с вероятностями $p_{ij}$ того, что случайная величина $X$ примет значение $x_i$, а $Y$ значение $y_j$: $p_{ij}=P\left[\left(X=x_i\right)\left(Y=y_j\right)\right]$. Так как случайные величины $X,\ Y$ независимые, то по теореме умножения вероятностей для независимых событий: $p_{ij}=P\left(X=x_i\right)\cdot P\left(Y=y_j\right)=p_i\cdot p_j$.
Итак, имеет законы распределения случайных величины $2X$ и $Y$ соответственно.
$\begin{array}{|c|c|}
\hline
x_i & -16 & 4 & 6 \\
\hline
p_i & 0,4 & 0,1 & 0,5 \\
\hline
\end{array}$
$\begin{array}{|c|c|}
\hline
y_i & 2 & 8 \\
\hline
p_i & 0,3 & 0,7 \\
\hline
\end{array}$
Для удобства нахождения всех значений суммы $Z=2X+Y$ и их вероятностей составим вспомогательную таблицу, в каждой клетке которой поместим в левом углу значения суммы $Z=2X+Y$, а в правом углу - вероятности этих значений, полученные в результате перемножения вероятностей соответствующих значений случайных величин $2X$ и $Y$.
В результате получим распределение $Z=2X+Y$:
$\begin{array}{|c|c|}
\hline
z_i & -14 & -8 & 6 & 12 & 10 & 16 \\
\hline
p_i & 0,12 & 0,28 & 0,03 & 0,07 & 0,15 & 0,35 \\
\hline
\end{array}$
Условные законы распределения. Регрессия.
Определение. Условным законом распределения одной из одномерных составляющих двумерной случайной величины (X, Y) называется ее закон распределения, вычисленный при условии, что другая составляющая приняла определенное значение (или попала в какой-то интервал). В предыдущей лекции было рассмотрено нахождение условных распределений для дискретных случайных величин. Там же приведены формулы условных вероятностей:
В случае непрерывных случайных величин необходимо определить плотности вероятности условных распределений j у (х) и j Х (y). С этой целью в приведенных формулах заменим вероятности событий их «элементами вероятности»,!
после сокращения на dx и dy получим:
т.е. условная плотность вероятности одной из одномерных составляющих двумерной случайной величины равна отношению ее совместной плотности к плотности вероятности другой составляющей. Эти соотношения записанные в виде
называются теоремой (правилом) умножения плотностей распределений.
Условные плотности j у (х) и j Х (y). обладают всеми свойствами «безусловной» плотности.
При изучении двумерных случайных величин рассматриваются числовые характеристики одномерных составляющих X и Y - математические ожидания и дисперсии. Для непрерывной случайной величины (X, Y) они определяются по формулам:
Наряду с ними рассматриваются также числовые характеристики условных распределений: условные математические ожидания M х (Y) и М у (Х) и условные дисперсии D х (Y) и D Y (X). Эти характеристики находятся по обычным формулам математически ожидания и дисперсии, в которых вместо вероятностей событий или плотностей вероятности используются условные вероятности или условные плотности вероятности.
Условное математическое ожидание случайной величины Y при X = х, т.е. M x (Y), есть функция от х, называемая функцией регрессии или просто регрессией Y по Х. Аналогично М Y (Х) называется функцией регрессии или просто регрессией X по Y. Графики этих функций называются соответственно линиями регрессии (или кривыми регрессии) Y по X или X по У.
Зависимые и независимые случайные величины.
Определение. Случайные величины X и Y называются независимыми, если их совместная функция распределения F(x,y) представляется в виде произведения функций распределений F 1 (x) и F 2 (y) этих случайных величин, т.е.
В противном случае, случайные величины Х и Y называются зависимыми.
Дифференцируя дважды равенство по аргументам х и у, получим
т.е. для независимых непрерывных случайных величин X и Y их совместная плотность j(х,у) равна произведению плотностей вероятности j 1 (х) и j 2 (у) этих случайных величин.
До сих пор мы сталкивались с понятием функциональной зависимости между переменными X и Y, когда каждому значению х одной переменной соответствовало строго определенное значение у другой. Например, зависимость между двумя случайными величинами - числом вышедших из строя единиц оборудования за определенный период времени и их стоимостью - функциональная.
В общем случае, сталкиваются с зависимостью другого типа, менее жесткой, чем функциональная.
Определение. Зависимость между двумя случайными величинами называется вероятностной (стохастической или статистической), если каждому значению одной из них соответствует определенное (условное) распределение другой.
В случае вероятностной (стохастической) зависимости нельзя, зная значение одной из них, точно определить значение другой, а можно указать лишь распределение другой величины. Например, зависимости между числом отказов оборудования и затрат на его профилактический ремонт, весом и ростом человека, затратами времени школьника на просмотр телевизионных передач и чтение книг и т.п. являются вероятностными (стохастическими).
На рис. 5.10 приведены примеры зависимых и независимых случайных величин X и Y.
При изучении систем случайных величин всегда следует обращать внимание на степень и характер их зависимости. Эта зависимость может быть более или менее ярко выраженной, более или менее тесной. В некоторых случаях зависимость между случайными величинами может быть настолько тесной, что, зная значение одной случайной величины, можно в точности указать значение другой. В другом крайнем случае зависимость между случайными величинами является настолько слабой и отдаленной, что их можно практически считать независимыми.
Понятие о независимых случайных величинах – одно их важных понятий теории вероятностей.
Случайная величина называется независимой от случайной величины , если закон распределения величины не зависит от того, какое значение приняла величина .
Для непрерывных случайных величин условие независимости от может быть записано в виде:
при любом .
Напротив, в случае, если зависит от , то
.
Докажем, что зависимость или независимость случайных величин всегда взаимны: если величина не зависит от .
Действительно, пусть не зависит от :
. (8.5.1)
Из формул (8.4.4) и (8.4.5) имеем:
откуда, принимая во внимание (8.5.1), получим:
что и требовалось доказать.
Так как зависимость и независимость случайных величин всегда взаимны, можно дать новое определение независимых случайных величин.
Случайные величины и называются независимыми, если закон распределения каждой из них не зависит от того, какое значение приняла другая. В противном случае величины и называются зависимыми.
Для независимых непрерывных случайных величин теорема умножения законов распределения принимает вид:
, (8.5.2)
т. е. плотность распределения системы независимых случайных величин равна произведению плотностей распределения отдельных величин, входящих в систему.
Условие (8.5.2) может рассматриваться как необходимое и достаточное условие независимости случайных величин.
Часто по самому виду функции можно заключить, что случайные величины , являются независимыми, а именно, если плотность распределения распадается на произведение двух функций, из которых одна зависит только от , другая - только от , то случайные величины независимы.
Пример. Плотность распределения системы имеет вид:
.
Определить, зависимы или независимы случайные величины и .
Решение. Разлагая знаменатель на множители, имеем:
.
Из того, что функция распалась на произведение двух функций, из которых одна зависима только от , а другая - только от , заключаем, что величины и должны быть независимы. Действительно, применяя формулы (8.4.2) и (8.4.3), имеем:
;
аналогично
,
откуда убеждаемся, что
и, следовательно, величины и независимы.
Вышеизложенный критерий суждения о зависимости или независимости случайных величин исходит из предположения, что закон распределения системы нам известен. На практике чаще бывает наоборот: закон распределения системы не известен; известны только законы распределения отдельных величин, входящих в систему, и имеются основания считать, что величины и независимы. Тогда можно написать плотность распределения системы как произведение плотностей распределения отдельных величин, входящих в систему.
Остановимся несколько подробнее на важных понятиях о «зависимости» и «независимости» случайных величин.
Понятие «независимости» случайных величин, которым мы пользуемся в теории вероятностей, несколько отличается от обычного понятия «зависимости» величин, которым мы оперируем в математике. Действительно, обычно под «зависимостью» величин подразумевают только один тип зависимости - полную, жесткую, так называемую - функциональную зависимость. Две величины и называются функционально зависимыми, если, зная значение одной из них, можно точно указать значение другой.
В теории вероятностей мы встречаемся с другим, более общим, типом зависимости - с вероятностной или «стохастической» зависимостью. Если величина связана с величиной вероятностной зависимостью, то, зная значение , нельзя указать точно значение , а можно указать только ее закон распределения, зависящий от того, какое значение приняла величина .
Вероятностная зависимость может быть более или менее тесной; по мере увеличения тесноты вероятностной зависимости она все более приближается к функциональной. Таким образом, функциональную зависимость можно рассматривать как крайний, предельный случай наиболее тесной вероятностной зависимости. Другой крайний случай - полная независимость случайных величин. Между этими двумя крайними случаями лежат все градации вероятностной зависимости - от самой сильной до самой слабой. Те физические величины, которые на практике мы считаем функционально зависимыми, в действительности связаны весьма тесной вероятностной зависимостью: при заданном значении одной из этих величин другая колеблется в столь узких пределах, что ее практически можно считать вполне определенной. С другой стороны, те величины, которые мы на практике считаем независимыми, и действительности часто находятся в некоторой взаимной зависимости, но эта зависимость настолько слаба, что ею для практических целей можно пренебречь.
Вероятностная зависимость между случайными величинами очень часто встречается на практике. Если случайные величины и находятся в вероятностной зависимости, это не означает, что с изменением величины величина изменяется вполне определенным образом; это лишь означает, что с изменением величины величина имеет тенденцию также изменяться (например, возрастать или убывать при возрастании ). Эта тенденция соблюдается лишь «в среднем», в общих чертах, и в каждом отдельном случае от нее возможны отступлении.
Рассмотрим, например, две такие случайные величины: - рост наугад взятого человека, - его вес. Очевидно, величины и находятся в определенной вероятностной зависимости; она выражается в том, что в общем люди с большим ростом имеют больший вес. Можно даже составить эмпирическую формулу, приближенно заменяющую эту вероятностную зависимость функциональной. Такова, например, общеизвестная формула, приближенно выражающая зависимость между ростом и весом.
