14.04.2024
Марковские процессы: примеры. Марковский случайный процесс. Понятие о марковском процессе. Использование марковских процессов для описания процесса функционирования системы Как проверить что процесс марковский
Эволюция которого после любого заданного значения временно́го параметра t {\displaystyle t} не зависит от эволюции, предшествовавшей t {\displaystyle t} , при условии, что значение процесса в этот момент фиксировано («будущее» процесса не зависит от «прошлого» при известном «настоящем»; другая трактовка (Вентцель): «будущее» процесса зависит от «прошлого» лишь через «настоящее»).
Энциклопедичный YouTube
1 / 3
✪ Лекция 15: Марковские случайные процессы
✪ Происхождение марковских цепей
✪ Обобщенная модель марковского процесса
Субтитры
История
Определяющее марковский процесс свойство принято называть марковским; впервые оно было сформулировано А. А. Марковым , который в работах 1907 г. положил начало изучению последовательностей зависимых испытаний и связанных с ними сумм случайных величин. Это направление исследований известно под названием теории цепей Маркова .
Основы общей теории марковских процессов с непрерывным временем были заложены Колмогоровым .
Марковское свойство
Общий случай
Пусть
(Ω
,
F
,
P)
{\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P})}
- вероятностное пространство с фильтрацией
(F
t
,
t
∈
T)
{\displaystyle ({\mathcal {F}}_{t},\ t\in T)}
по некоторому (частично упорядоченному) множеству
T
{\displaystyle T}
; и пусть
(S
,
S)
{\displaystyle (S,{\mathcal {S}})}
- измеримое пространство . Случайный процесс
X
=
(X
t
,
t
∈
T)
{\displaystyle X=(X_{t},\ t\in T)}
, определённый на фильтрованном вероятностном пространстве, считается удовлетворяющим марковскому свойству
, если для каждого
A
∈
S
{\displaystyle A\in {\mathcal {S}}}
и
s
,
t
∈
T:
s
<
t
{\displaystyle s,t\in T:s
Марковский процесс - это случайный процесс, удовлетворяющий марковскому свойству с естественной фильтрацией .
Для марковских цепей с дискретным временем
В случае, если S {\displaystyle S} является дискретным множеством и T = N {\displaystyle T=\mathbb {N} } , определение может быть переформулировано:
P (X n = x n | X n − 1 = x n − 1 , X n − 2 = x n − 2 , … , X 0 = x 0) = P (X n = x n | X n − 1 = x n − 1) {\displaystyle \mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{0}=x_{0})=\mathbb {P} (X_{n}=x_{n}|X_{n-1}=x_{n-1})} .Пример марковского процесса
Рассмотрим простой пример марковского случайного процесса. По оси абсцисс случайным образом перемещается точка. В момент времени ноль точка находится в начале координат и остается там в течение одной секунды. Через секунду бросается монета - если выпал герб, то точка X перемещается на одну единицу длины вправо, если цифра - влево. Через секунду снова бросается монета и производится такое же случайное перемещение, и так далее. Процесс изменения положения точки («блуждания ») представляет собой случайный процесс с дискретным временем (t=0, 1, 2, …) и счетным множеством состояний. Такой случайный процесс называется марковским, так как следующее состояние точки зависит только от настоящего (текущего) состояния и не зависит от прошлых состояний (неважно, каким путём и за какое время точка попала в текущую координату).
Для системы массового обслуживания характерен случайный процесс. Изучение случайного процесса, протекающего в системе, выражение его математически и является предметом теории массового обслуживания.
Математический анализ работы системы массового обслуживания значительно облегчается, если случайный процесс этой работы является марковским. Процесс, протекающий в системе, называется марковским, если в любой момент времени вероятность любого состояния системы в будущем зависит только от состояния системы в текущий момент и не зависит от того, каким образом система пришла в это состояние. При исследовании экономических систем наибольшее применение имеют марковские случайные процессы с дискретными и непрерывными состояниями.
Случайный процесс называется процессом с дискретными состояниями, если все его возможные состояния можно заранее перечислить, а сам процесс состоит в том, что время от времени система скачком переходит из одного состояния в другое.
Случайный процесс называется процессом с непрерывным состоянием, если для него характерен плавный, постепенный переход из состояния в состояние.
Также можно выделить марковские процессы с дискретным и непрерывным временем. В первом случае переходы системы из одного состояния в другое возможны только в строго определенные, заранее фиксированные моменты времени. Во втором случае переход системы из состояния в состояние возможен в любой, заранее неизвестный, случайный момент. Если вероятность перехода не зависит от времени, то марковский процесс называют однородным.
В исследовании систем массового обслуживания большое значение имеют случайные марковские процессы с дискретными состояниями и непрерывным временем.
Исследование марковских процессов сводится к изучению матриц переходных вероятностей (). Каждый элемент такой матрицы (поток событий) представляет собой вероятность перехода из заданного состояния (которому соответствует строка) к следующему состоянию (которому соответствует столбец). В этой матрице предусмотрены все возможные переходы данного множества состояний. Следовательно, процессы, которые можно описывать и моделировать с помощью матриц переходных вероятностей, должны обладать зависимостью вероятности конкретного состояния от непосредственно предшествующего состояния. Так выстраивается цепь Маркова. При этом цепью Маркова первого порядка называется процесс, для которого каждое конкретное состояние зависит только от его предшествующего состояния. Цепью Маркова второго и более высоких порядков называется процесс, в котором текущее состояние зависит от двух и более предшествующих.
Ниже представлены два примера матриц переходных вероятностей.
Матрицы переходных вероятностей можно изобразить графами переходных состояний, как показано на рисунке.
Пример
Предприятие выпускает продукт, насытивший рынок. Если предприятие от реализации продукта в текущем месяце получит прибыль (П), то с вероятностью 0,7 получит прибыль и в следующем месяце, а с вероятностью 0,3 – убыток. Если в текущем месяце предприятие получит убыток (У), то с вероятностью 0,4 в следующем месяце оно получит прибыль, а с вероятностью 0,6 – убыток (вероятностные оценки получены в результате опроса экспертов). Рассчитать вероятностную оценку получения прибыли от реализации товара через два месяца работы предприятия.
В матричной форме эта информация будет выражена следующим образом (что соответствует примеру матрицы 1):
Первая итерация – построение матрицы двухступенчатых переходов.
Если предприятие в текущем месяце получит прибыль, то вероятность того, что в следующем месяце оно снова получит прибыль, равна
Если предприятие в текущем месяце получит прибыль, то вероятность того, что в следующем месяце оно получит убыток, равна
Если предприятие в текущем месяце получит убыток, то вероятность того, что в следующем месяце оно получит прибыль, равна
Если предприятие в текущем месяце получит убыток, то вероятность того, что в следующем месяце оно вновь получит убыток, равна
В результате расчетов получаем матрицу двухступенчатых переходов:
Результат достигается перемножением матрицы т,на матрицу с такими же значениями вероятностей:
Для проведения этих процедур в среде Excel необходимо выполнить следующие действия:
- 1) формировать матрицу;
- 2) вызывать функцию МУМНОЖ;
- 3) указывать первый массив – матрицу;
- 4) указывать второй массив (эта же матрица или другая);
- 5) ОК;
- 6) выделить зону новой матрицы;
- 7) F2;
- 8) Ctrl+Shift+Enter;
- 9) получить новую матрицу.
Вторая итерация – построение матрицы трехступенчатых переходов. Аналогично рассчитываются вероятности получения прибыли или убытка на следующем шаге и рассчитывается матрица трехступенчатых переходов, она имеет следующий вид:
Таким образом, в ближайшие два месяца работы предприятия вероятность получения прибыли от выпуска продукта выше, по сравнению с вероятностью получения убытка. Однако следует заметить, что вероятность получения прибыли падает, поэтому предприятию необходимо осуществить разработку нового продукта для замены производимого продукта.
В последние годы широкое распространение получили методы статистического анализа, оценивания и оптимального управления стохастическими системами, основанные на использовании результатов теории марковских процессов. В данном разделе рассматривается применение методов теории марковских процессов для статистического анализа линейных и нелинейных стохастических систем.
Уравнение Фоккера - Планка - Колмогорова. В теории марковских процессов получены дифференциальные уравнения в частных производных параболического типа для условной (переходной) и безусловной плотностей распределения вероятностей непрерывного марковского процесса x(t). Применительно к скалярному марковскому процессу x(t) уравнение для плотности , называемое уравнением Фоккера - Планка - Колмогорова (ФПК), имеет вид
Функции а(х, t) и b(x, t) называют соответственно коэффициентами сноса и диффузии марковского процесса x(t).
В многомерном случае уравнение ФПК для векторного марковского процесса x(t), состоящего из п компонент , записывается следующим образом:
где - вектор коэффициентов сноса; -матрица коэффициентов диффузии векторного процесса x(t).
Интегрируя уравнение ФПК при заданном начальном условии , можно определить плотность распределения вероятностей рассматриваемого марковского процесса в последующие моменты времени.
Стохастические дифференциальные уравнения. Среди различных непрерывных марковских процессов в практических задачах особенно большое значение имеют так называемые диффузионные марковские процессы, изменение которых во времени описывается дифференциальными уравнениями вида
где -стандартный белый шум.
Такие уравнения называют стохастическими дифференциальными уравнениями.
Уравнение вида (2.53) можно записать непосредственно для изучаемой динамической системы, если случайное входное воздействие этой системы действительно может быть аппроксимировано стандартным белым шумом. Например, одномерной системе, состоящей из интегрирующего звена 1/p, охваченного нелинейной обратной связью f(x), подверженной воздействию белого шума на входе, соответствует стохастическое дифференциальное уравнение первого порядка
Используя метод формирующих фильтров, к виду (2.53) можно привести уравнения, описывающие поведение систем, подверженных воздействию окрашенных шумов.
Пример. Пусть исследуемая динамическая система описывается передаточной функцией апериодического звена
Внешнее воздействие -случайный процесс со спектральной плотностью
Коэффициент усиления К является гауссовской случайной величиной, характеризуемой параметрами m k и D k .
Чтобы описать эту систему стохастическим дифференциальным уравнением, перепишем соотношение (2.54) в виде дифференциального уравнения в нормальной форме:
Последнее уравнение объединим с уравнением формирующего фильтра для , полученные ранее [см. формулу (2.30")].
и уравнением формирующего фильтра для случайного параметра
В результате получим стохастическое дифференциальное уравнение вида (2.53), описывающее рассматриваемую динамическую систему, в котором векторный случайный процесс x(t), объединяющий в качестве составляющих переменные у, x 1 и К, есть диффузионный марковский процесс. Компоненты вектор-функции f T (x, t) - n в данном случае равны
Белый шум является скалярным случайным процессом, поскольку в; правые части уравнений (2.56) и (2.57) входит одно и то же внешнее случайное воздействие, а
Возникает вопрос, как выражаются коэффициенты сноса а(х, t) и диффузии b(x, t), входящие в уравнение ФПК (2.51) или (2.52),. описывающие изменение плотности р(х, t) распределения вероятностей диффузионного марковского процесса x(t), через f(x, t) и ? В зависимости от ответа на этот вопрос различают стохастические дифференциальные уравнения Ито и Стратоновича_ В уравнении Ито в скалярном случае коэффициенты сноса и диффузии соответственно равны f(x, t) и . Для стохастического дифференциального уравнения Стратоновича эти коэффициенты определяются соотношениями *(* Диментберг М. Ф. Нелинейные стохастические задачи механических колебаний. М.: Наука, 1980. 368 с.)
Конкретный вариант используемой интерпретации стохастического дифференциального уравнения зависит от особенностей анализируемой физической системы.
В рассматриваемом далее в данной главе наиболее широко распространенном случае, когда не зависит от х, флуктуационная поправка к коэффициенту сноса, возникающая при рассмотрении стохастического дифференциального уравнения Стратоновича, обращается в нуль и обе интерпретации приводят к одним и тем же результатам.
Интегрировать аналитически и даже численно уравнение в частных производных параболического типа, каким является уравнение ФПК трудно, особенно в тех случаях, когда размерность вектора х велика. Только в одномерном и в отдельных двумерных случаях удается найти аналитическое решение этого уравнения, соответствующего стохастическому дифференциальному уравнению нелинейной системы. Однако каждое такое решение представляет большой интерес, поскольку оно является наиболее полной характеристикой точности системы, позволяющей оценить точность решений, полученных с помощью приближенных методов - расчета, например, с помощью метода статистической линеаризации.
Рис. 2.1. Нелинейная система первого порядка.
Так, стационарным решением уравнения ФПК, соответствующего нелинейной системе первого порядка, показанной на рис. 2.4, для р(х, ∞)=р ст (х) является выражение
в котором постоянная интегрирования С выбирается из условия нормировки . В случае стационарной линейной системы при f(x). = - х из (2.60) получаем гауссовскую плотность . Если в обратной связи стоит реле с уровнем насыщения А, то
Плотности (2.61) соответствуют и .
Уравнения для моментов диффузионного процесса. Основным применением уравнения ФПК при априорном анализе точности систем является получение с его помощью обыкновенных дифференциальных уравнений для вектора математических ожиданий m x (t) и корреляционной матрицы K x (t) фазового вектора диффузионной марковской системы. Эти уравнения оказываются точными, если стохастическое дифференциальное уравнение (2.53) - линейное, и приближенными в случае нелинейного уравнения (2.53).
Чтобы получить из уравнения ФПК уравнения для и в случае, когда x(t) -скалярный процесс, умножим (2.51) на х и проинтегрируем обе части по этой переменной в бесконечных пределах. Тогда получим
Слева в уравнении (2.62) имеем
а интеграл справа вычисляем, применяя метод интегрирования по частям и учитывая граничные условия . Окончательный результат оказывается следующим:
Уравнение для дисперсии D x получают, умножив левую и правую части (2.51) на и проинтегрировав их по переменной х в бесконечных пределах. В итоге имеем
Соотношениями (2.64) - (2.65) устанавливается связь между производными по времени от m x и D x диффузионного процесса x(t) и его плотностью распределения р(х, t). Из них нельзя найти m x (t) и D x (t), если плотность р(х, t) неизвестна.
Уравнения для моментов в линейной системе. Если коэффициент сноса f(x, t) в правой части стохастического дифференциального уравнения (2.57) - линейный относительно х, т. е. f(x,t)=a(t)x + b(t), то соотношения (2.64) и (2.65) превращаются в уравнения относительно m x и D x , т. е. становятся замкнутыми. Действительно, в этом случае
поэтому для линейной марковской системы первого порядка
Интегрирование уравнений (2.66) и (2.67) при заданных начальных условиях m x (t 0) и D x (t 0) позволяет определить m x (t) и D x (t).
Если рассматриваемая система - стационарная и устойчивая, а искомыми являются m x и D x в установившемся режиме, то эти величины можно найти из алгебраических уравнений
поскольку в установившемся режиме для такой системы и
В многомерном случае уравнения для т х и К х оказываются следующими:
Векторное уравнение (2.69) размерности п совместно с матричным уравнением (2.70) размерности п×п называют корреляционной системой уравнений. Системы (2.69) и (2.70) не зависят друг от друга, поэтому их можно интегрировать раздельно. Учитывая симметричность матрицы К х, Для ее определения достаточно про-янтегрировать п(п+1)/2 уравнений относительно различных ковариационных моментов К х. Начальными условиями для (2.69) и (2.70) являются вектор математических ожиданий m x (t 0) и корреляционная матрица К х (t 0) фазового вектора x(t 0) в начальный момент времени.
Если исследуемая линейная марковская система - стационарная и устойчивая, а искомыми являются т х и К х в установившемся режиме, то их можно найти из систем алгебраических уравнений
Одним из способов решения может служить интегрирование соответствующих им систем дифференциальных уравнений (2.69) и (2.70) при произвольно заданных начальных условиях. Сходимость решения обеспечивается устойчивостью исследуемой динамической системы.
Приближенные уравнения для определения моментов диффузионного процесса в нелинейной системе. Для получения приближенной замкнутой системы уравнений из (2.64) и (2.65) в общем случае нелинейного коэффициента сноса f(x, t) предположим, что плотность р(х, t) распределения вероятностей фазового вектора гауссовская. При р(х, t) =p Г (x, t) интегралы в правых частях соотношений (2.64) и (2.65) можно вычислить. Результирующие функции зависят от m x (t) и D x (t), описывающих p Г (x, t):
Подставив (2.73) и (2.74) в (2.64) и (2.65), получим систему из двух нелинейных обыкновенных дифференциальных уравнений:
Интегрирование этой системы при заданных m x (t 0) и D x (t 0) позволяет найти m x (t) и D x (t), т. е. решить приближенно задачу статистического анализа рассматриваемой нелинейной системы. Для «типовых» нелинейностей f(x) формулы для f 0 (m x , D x) и K(m x , D x) могут быть взяты из таблиц выражений коэффициентов статистической линеаризации.
Пример. Пусть f(x) в (2.53)-релейная характеристика f(x)= -A sign (x).
Для этой нелинейности f (см. пример в разд. 1.1) и
Уравнеиия для m x и D x в такой системе имеют вид
Установившиеся значения и получаем, положив и .
Имеем . Сравнивая приближенное значение с точным, полученным ранее путем решения уравнения ФПК значением, видим, что предположение о гауссовском распределении р(х) в рассматриваемой нелинейной системе с реле в обратной связи приводит к ошибке в дисперсии, равной 22%.
В многомерном случае вектор m x (t) и корреляционную матрицу K x (t) можно найти в результате совместного интегрирования двух систем обыкновенных дифференциальных уравнений
Матричная функция, элементами которой являются частные производные от составляющих вектор-функции по компонентам вектора т х.
Если в состав исследуемой системы входят только линейные звенья и типовые одномерные существенные нелинейности, то корреляционную систему вида (2.76) удобно составить, применяя совместно статистическую линеаризацию нелинейных звеньев и корреляционную систему уравнений (2.69) - (2.70) для статистически линеаризованной системы.
Когда управляемое движение летательного аппарата описывается нелинейными стохастическими дифференциальными уравнениями, правые части которых содержат гладкие многомерные нелинейности, приближенный анализ точности такого движения значительно упрощается по сравнению с непосредственным использованием уравнений (2.76), если пользоваться так называемой квазилинейной корреляционной системой уравнений. При составлении такой системы полное движение исследуемой системы разбивается на два движения: среднее и возмущенное. Для описания среднего движения, характеризующего изменение математических ожиданий составляющих фазового вектора, используются нелинейные уравнения системы при математических ожиданиях (средних значениях) начальных условий и внешних воздействий. Для описания возмущенного движения, характеризующего случайные отклонения составляющих фазового вектора от их средних значений, применяются линеаризованные уравнения, причем в качестве опорных значений при линеаризации берутся математические ожидания фазовых координат в соответствующие моменты времени.
Пример. Рассмотрим задачу баллистического спуска летательного аппарата, т. е. спуска с нулевой подъемной силой, в атмосфере Земли. Продольное движение аппарата описывается нелинейными дифференциальными уравнениями
Требуется оценить рассеивание траекторий аппарата, предполагая случайными переменные V, θ, Н и L в момент t 0 начала спуска; постоянными величины R, С х, S, т и g, а зависимость -показательной вида , где .
Перепишем уравнения движения аппарата в виде векторного уравнения
Представим фазовый вектор х в виде х=т х +Δх, а нелинейную вектор-функцию f(x, t) линеаризуем в окрестности х=т х:
где -матрица 4×4 частных производных вектор-функции f(x, t) по составляющим вектора х, вычисленная при х=т х. Получаем уравнение
из которого в результате усреднения непосредственно находим уравнение для вектора математических ожиданий
по виду совпадающие с (2.77). Вычтя (2.79) из (2.78), получаем линеаризованное уравнение возмущенного движения
на основе которого составляем уравнение для корреляционной матрицы фазового вектора
Совместное интегрирование уравнений (2.80) и (2.81), в совокупности образующих квазилинейную корреляционную систему уравнений, при заданных начальных условиях т х (t 0) и K x (t 0) позволяет определить т х (t) и Kx(t) в последующие моменты времени. Точность решения определяется точностью аппроксимации вектор-функции линеаризованной зависимостью при тех значениях случайных отклонений Δx (t) фазового вектора x(t), которые имеют место в рассматриваемой задаче при заданных статистических характеристиках случайных, начальных условий.
2.6. МЕТОД СТАТИСТИЧЕСКОГО МОДЕЛИРОВАНИЯ (МОНТЕ-КАРЛО)
Метод статистического моделирования - универсальный метод статистического анализа стохастических систем (линейных и нелинейных, стационарных и нестационарных), подверженных воздействию случайных факторов различных типов с произвольными их статистическими свойствами. В литературе данный метод также называют методом статистических испытаний или методом Монте-Карло.
Основу метода статистического моделирования составляет закон больших чисел, заключающийся в том, что результат усреднения, относящийся к случайному фактору (событию, величине, процессу или полю), вычисленный по п его реализациям, при перестает быть случайным и может рассматриваться в качестве оценки соответствующей характеристики рассматриваемого фактора. В частности, в соответствии с теоремой. Бернулли при большом числе опытов (реализаций) частота случайного события приближается к вероятности этого события. Аналогичные теоремы существуют и для статистических характеристик случайных величин, процессов, полей.
Применительно к априорному анализу точности стохастических систем метод статистического моделирования заключается в проведении на ЭВМ статистических экспериментов, имитирующих функционирование исследуемой системы при действии случайных факторов, и в последующей обработке полученных в этих экспериментах результатов с помощью методов математической статистики для определения соответствующих статистических характеристик.
Методика статистического моделирования. Первым этапом подготовки к статистическому моделированию стохастической системы является выбор типа ЭВМ (ЦВМ, АВМ или аналого-цифрового комплекса), на которой целесообразно проводить моделирование. При этом учитываются сложность исследуемой системы, характер и число нелинейностей в ней, скорость протекания процессов в различных частях (звеньях) системы, тип и характеристики действующих на систему случайных возмущений и другие факторы.
Выясняется возможность использования канонических разложений случайных процессов, действующих на исследуемую систему. Если такие разложения известны для всех случайных функций, рассматриваемых в системе, моделирование системы можно заметно упростить, поскольку в этом случае при моделировании требуется получать реализации только случайных величин (начальных условий, параметров системы и коэффициентов канонических разложений).
Более общей и сложной является ситуация, когда в число возмущений системы входят случайные процессы, для которых канонические разложения не известны. В этом случае описывающие исследуемую динамическую систему уравнения сводятся к системе стохастических дифференциальных уравнений в нормальной форме вида
где λ - вектор случайных параметров системы; - векторный белый шум. Вектор начальных условий x(t 0) также может быть случайным.
Некоторые из действующих на систему случайных возмущений могут оказаться не белым шумом. Для таких процессов требуется составить дифференциальные уравнения формирующих фильтров. Эти уравнения при моделировании следует интегрировать совместно с уравнениями системы (2.82).
Далее составляется программа интегрирования на ЦВМ системы (2.82) совместно с уравнениями формирующих фильтров или схема моделирования для АВМ. Характерными элементами программы являются блоки, обеспечивающие получение реализаций случайных факторов, рассматриваемых в системе.
Получение на ЭВМ реализаций случайных величин. При моделировании задачи на АВМ, а иногда и на ЦВМ реализации случайных величин задают с помощью таблиц случайных чисел. Наибольшее распространение получили таблицы случайных чисел, подчиняющихся нормальному (гауссовскому) и равномерному распределениям. Таблица нормально распределенных случайных чисел содержит реализации гауссовской случайной величины соответствующие и .Беря числа из этой таблицы, реализации гауссовской случайной величины с характеристиками и вычисляют по формуле
Таблица равномерно распределенных чисел содержит реализации подчиняющиеся равномерному на интервале распределению вероятностей. Для получения реализаций величины х, распределенной равномерно на интервале числа , взятые из таблицы, преобразуют с помощью соотношения
Основным способом получения реализаций случайных величин на ЦВМ является использование специальных стандартных подпрограмм, называемых датчиками псевдослучайных чисел. При каждом обращении к датчику в нем вычисляется новое случайное число. Расчет проводится с помощью рекуррентной формулы, аргументами которой являются несколько случайных чисел, вычисленных при предыдущих обращениях к данной подпрограмме. При фиксированной начальной (стартовой) совокупности случайных чисел все рекуррентно вычисляемые датчиком последующие числа будут определенными, зависящими от стартовой совокупности, поэтому числа, получаемые с помощью датчика, называют псевдослучайными. Рекуррентная формула, реализованная в датчике, подбирается так, чтобы псевдослучайные числа, получаемые с помощью датчика, обладали требуемыми статистическими свойствами - соответствовали определенной плотности распределения вероятностей р(х), а коэффициент корреляции был равен нулю.
Как правило, в библиотеке стандартных подпрограмм ЦВМ присутствуют два датчика псевдослучайных чисел: равномерно распределенных на интервале и гауссовских с и .
Получение реализаций векторной гауссовской случайной величины затруднений не вызывает, если этот вектор некоррелирован. Реализации отдельных компонент такого вектора можно рассчитывать с помощью датчика гауссовских чисел независимо друг от друга. Если же гауссовский вектор х коррелирован, его реализации получают путем линейного преобразования реализаций некоррелированного гауссовского вектора U той же размерности, формируемого с помощью датчика гауссовских псевдослучайных чисел. У вектора U математическое ожидание - нулевой вектор, а корреляционная матрица - единичная. Матрица линейного преобразования А подбирается так, чтобы результирующая ковариационная матрица К х была равна заданной. При ее определении используется соотношение (1.26).
При из (1.26) получаем следующее уравнение относительно А:
Это уравнение имеет бесчисленное множество решений. Если искать А в виде треугольной матрицы вида
то из (2.83)получим n(n+1)/2 уравнений для элементов этой матрицы, которые можно решить рекуррентно. Результатом являются следующие выражения для элементов матрицы А:
где - элементы заданной корреляционной матрицы .
Пример. Пусть х - двумерный вектор с корреляционной матрицей
Найдем матрицу А, такую, что
где -некоррелированный вектор с .
С помощью соотношений (2.84) находим ац т. е.
В ряде случаев требуется получать реализации случайной величины, распределение которой не является ни равномерным, ни га-уссовским. Наиболее распространенным способом моделирования в данном случае является нелинейное преобразование реализаций, получаемых с помощью датчика равномерно распределенных чисел.
Задача определения нелинейного преобразования y=f(x), связывающего случайные величины х и у с заданными плотностями распределения р(х) и р(у) (плотность р(х) -равномерная), является обратной по отношению к задаче определения распределения нелинейной функции случайной величины, рассмотренной в разд. 1.1. Если распределение р(х) - равномерное, то из соотношения (1.32) имеем , откуда при монотонно возрастающей функции получаем
где F (у) - интегральная функция распределения вероятностей величины у.
Функция является обратной по отношению к искомой функции f(x). Таким образом, определение искомого нелинейного преобразования y = f(x) сводится к нахождению по заданной плотности р(у) интегральной функции F(y) и последующему решению уравнения F (у) =х относительно у.
Пример. Пусть
Тогда в интервале (0, 1) имеем xF(y)=y 2 , откуда ,т. е. .
Иной подход может быть применен в тех случаях, когда требуется получать реализации случайной величины у по имеющейся ее гистограмме или когда распределение р(у) имеет сложную форму, которую целесообразно аппроксимировать ступенчатой зависимостью.
Пусть интервал [у 0 , у п ] практически возможных значений случайной величины у, имеющей распределение р(у), разбит на п участков , в пределах каждого из которых плотность р(у) можно полагать равномерной. Вероятность попадания в каждый интервал
причем . При использовании такой аппроксимации р(у)
реализацию можно определить в результате двукратного обращения к датчику равномерно распределенных псевдослучайных чисел. При первом обращении разыгрывается исход попадания реализации y i в один из интервалов . Для этого вероятностям P l попадания y i в интервалы ставятся в соответствие интервалы значений равномерно распределенных псевдослучайных чисел из общего диапазона . Попаданию случайного числа х i р.р, получаемого в результате обращения к датчику, в интервал ставится в соответствие попадание реализации y i в интервал . При втором обращении к датчику разыгрывается значение реализации y i как случайной величины, распределенной равномерно в интервале .
Моделирование на ЭВМ реализаций случайных процессов. На АВМ реализации случайных процессов получают с помощью генераторов шума. Так называют электронный прибор, электрическое напряжение на выходе которого является случайным процессом с заданными статистическими характеристиками. Генераторы, используемые при статистическом моделировании управляемого движения летательных аппаратов, генерируют шум с равномерной спектральной плотностью в диапазоне инфранизких частот (от до Гц) и с гауссовским одномерным распределением вероятностей. При статистическом моделировании систем, полоса пропускания которых уже, чем , а именно такими, как правило, являются системы управления летательными аппаратами, шум генераторов можно считать белым. Окрашенные шумы, действующие на изучаемую систему, моделируют на АВМ путем пропускания белого шума через соответствующим образом подобранный формирующий фильтр.
На ЦВМ белый шум моделируют, аппроксимируя его приближенно ступенчатым абсолютно случайным процессом x(t). Реализации последнего вычисляются по следующему правилу. Аргумент процесса - время t -изменяется дискретно с шагом Δt. В пределах каждого шага значение реализации задается заново с помощью датчика гауссовских псевдослучайных чисел
где В - постоянный множитель.
На всем интервале значение остается постоянным. Псевдослучайные числа, получаемые при помощи датчика, попарно некоррелированы друг с другом. Следовательно, корреляция между значениями ступенчатого процесса x(t) в различных интервалах и , отсутствует. Поэтому корреляционная функция данного процесса равна
При отношение . Следовательно, при достаточна малой величине интервала процесс x(t) с корреляционной функцией R x (t), определяемой соотношением (2.85), можно рассматривать в качестве приближенной аппроксимации белого шума с интенсивностью . Точность аппроксимации оказывается тем выше, чем меньше интервал .
При численном интегрировании стохастических дифференциальных уравнений (2.82) на ЦВМ величина интервала , используемого при моделировании белого шума , действующего на систему, не может быть задана меньше шага интегрирования . Следовательно, шаг численного интегрирования должен определяться из условия
где - интервал, при котором ступенчатый абсолютно случайный процесс достаточно точно аппроксимирует белый шум; - шаг численного интегрирования, обеспечивающий приемлемую точность вычислений при избранном методе численного интегрирования системы (2.82).
Эксперименты на ЦВМ показывают, что при всех методах численного интегрирования , поэтому для обеспечения аппроксимации белого шума ступенчатым процессом интегрирование системы (2.82) должно вестись с шагом
Среди всех методов численного интегрирования затраты машинного времени на один шаг интегрирования являются наименьшими при интегрировании по методу Эйлера:
Вследствие этого данный метод и следует использовать при статистическом моделировании систем, беря , а коэффициент В рассчитывать по формуле
где - интенсивность белого шума, действующего на систему.
Проведение статистического моделирования и обработка его результатов. Составив программу моделирования исследуемой динамической системы на ЦВМ или набрав схему моделирования на АВМ, с их помощью получают необходимое число реализаций выходных координат исследуемой системы. Обработка результатов^ моделирования может проводиться или при моделировании, или после его завершения с использованием методов математической: статистики . В зависимости от конкретной цели статистического моделирования результатами обработки могут быть оценки математических ожиданий, дисперсий, взаимных корреляционных моментов, корреляционных функций и других статистических характеристик выходных координат системы. Точность оценок будет тем выше, чем большее число реализаций будет статистически обработано. Соотношения для расчета доверительных интервалов и доверительных вероятностей оценок различных параметров в зависимости от числа реализаций, используемых для их получения, приводятся в книгах .
Если исследуемая система и действующие на нее возмущения таковы, что рассматриваемая выходная переменная является эргодическим стационарным процессом, то при моделировании достаточно ограничиться получением одной длинной реализации это» переменной. В иных случаях требуется получать и обрабатывать множество реализаций выходных координат.
МЕТОДЫ ОПРЕДЕЛЕНИЯ ОЦЕНОК СОСТОЯНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ
3.1. ЗАДАЧА ОЦЕНИВАНИЯ КАК ЧАСТНЫЙ СЛУЧАЙ СТАТИСТИЧЕСКОГО РЕШЕНИЯ. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ
Сформулируем задачу построения оценок. Рассмотрим случайный вектор X, плотность распределения которого имеет известную математическую форму, но содержит некоторое число неизвестных параметров. Задана выборка измеренных значений компонент этого вектора, в дальнейшем называемая вектором измерений У.
Если, например, измерены N раз т компонент n-мерного вектора X, то вектор Y будет включать N×m компонент. Вектор Y также является случайным, так как содержит так называемые ошибки измерения , плотность распределения которых считается известной. Требуется, используя вектор измерения У, получить оценки неизвестных параметров плотности распределения X и определить точность этих оценок.
Важно уметь сравнивать свойства различных оценок одного и того же параметра и, в частности, находить оценки максимальной точности. Точность оценок определяем на основе статистических характеристик отклонений оценок от неизвестных «истинных значений» оцениваемых параметров. Плотность распределения X, характеризуемую истинными значениями оцениваемых параметров, называем «истинной».
Данная постановка задачи определения оценок называется статистической и является в настоящее время наиболее широко распространенной в технических задачах. В то же время существуют и другие постановки задач оценивания, когда нельзя сделать никаких предположений о распределении оцениваемой величины. Подобная ситуация рассматривается отдельно.
Вернемся к статистической задаче оценивания. Введем некоторые определения.
Функцию значений оцениваемой величины, т. е. функцию измерений, в дальнейшем будем называть статистикой. Простейшей статистикой является, таким образом, сам вектор измерений У. Оценка случайного вектора X, полученная на основе измерений У, т. е. (Y), также является статистикой. Если статистика содержит.всю необходимую эмпирическую информацию для построения распределения X, то она называется достаточной.
Если оценка сходится по вероятности к оцениваемой величине X при неограниченном возрастании объема выборки, т. е. размерности вектора У, то она называется состоятельной.
Оценка вектора X -функция случайных аргументов. Поэтому для сравнения оценок между собой и выбора наилучшей необходимо рассматривать статистические характеристики функции потерь, так называемые функции риска.
Таких функций можно построить несколько. Наиболее употребительные функции риска следующие.
1. Средний или априорный риск:
где р(х, у) -плотность совместного распределения вероятностей векторов X и У.
Интегрирование в (3.3) ведется по области всех возможных значений X и У. В дальнейшем в подобных случаях не будем указывать пределов интегрирования; х я у - значения случайных векторов X и У. Записью (у) в (3.3) подчеркивает то обстоятельство, что оценка рассматривается как функция у. Если оценка (у) минимизирует функцию риска (3.3), то она называется оптимальной в смысле среднего риска. Средний риск (3.3) R( ) может быть представлен в виде
, максимизирующая или, что то же самое, , называется оценкой максимума апостериорной вероятности, а сам метод оценивания"- методом максимума апостеориорной вероятности.2. Байесовский риск:
где p(x/Y) -апостериорная плотность вероятностей значений X . при заданном (фиксированном) Y, р(х) -априорная плотность вероятностей вектора X, т. е. существующая до опыта, в котором реализовался какой-то вектор у. Таким образом, байесовский риск в силу структуры формулы Байеса (1.9) зависит не только от оценки, но и от априорной плотности вероятностей р(х), что и отражено в записи . Оценка , минимизирующая функцию риска (3.4), называется оптимальной в байесовском смысле или просто ^байесовской. Доказано , что для функции потерь вида (3.1) байесовская оценка минимизирует одновременно функции риска (3.3) и (3.4). Алгоритмы оценивания, обеспечивающие получение байесовских оценок, принято называть байесовскими.
3. Условный риск:
Эта функция риска характеризует ошибки оценки при заданном (фиксированном) значении оцениваемого вектора X. Между условным и средним риском существует связь:
В (3.5) и (3.6) р(у/Х) и р(х) - соответственно условная плотность вероятностей вектора Y и априорная плотность вероятностей вектора X. На основе плотности вероятностей p(y/X) может быть построена оценка максимума правдоподобия. Это оценка, которая максимизирует так называемую функцию правдоподобия. В качестве функции правдоподобия в простейшем случае может быть выбрана функция р(у/Х), в которую подставлены фактические значения измерений у. Для построения р(у/Х) не обязательно знать вид плотности распределения р(х), т. е. вид априорной плотности вероятностей вектора X. X, X на множестве .
Можно также сказать, что минимаксная оценка является байесовской при априорном распределении X, являющемся наименее благоприятным для задачи оценивания. Поясним последнюю мысль-подробнее.
Байесовский риск может быть определен в том случае, если известен вид априорной плотности вероятностей р(х) вектора X, так как в силу (1.9) условная плотность вероятностей
где р(у) -плотность вероятностей вектора Y.
В том случае, когда плотность вероятностей р(х) не существует, можно условно поставить в соответствие каждому X из некоторое априорное распределение , принадлежащее некоторому классу распределений .
Оказывается, для функции потерь вида (3.1) справедливо равенство :
т. е. минимаксная оценка тождественна байесовской оценке вычисленной для априорного распределения, максимизирующего байесовский риск на . Таким образом устанавливается связь между байесовской и минимаксной оценками.
3.2. БАЙЕСОВСКИЕ АЛГОРИТМЫ ОЦЕНИВАНИЯ
Как показывает практика, сложность реализации алгоритмов оценивания зависит, во-первых, от вида математической модели движения оцениваемой динамической системы и измерений и, во-вторых, от способа проведения измерений, т. е. от того, как поступают измерения, непрерывно или дискретно. Рассмотрим линейные (для линейных моделей), квазилинейные (для линеаризованных моделей) и нелинейные (для нелинейных моделей) байесовские алгоритмы. Как правило, будем полагать, что измерительная информация поступает дискретно и соответствующие алгоритмы имеют рекуррентную форму. Эта форма алгоритма наиболее удобна для реализации на ЭВМ, когда поступающие векторы измерений обрабатываются поочередно. В некоторых случаях удобно обобщить полученные результаты на случай непрерывных измерений.
Лекция 9
Марковские процессыЛекция 9
Марковские процессы
1
Марковские процессы
Марковские процессыСлучайный процесс, протекающий в системе, называется
марковским, если он обладает отсутствием последствия. Т.е.
если рассматривать текущее состояние процесса (t 0) - как
настоящее, совокупность возможных состояний { (s),s t} - как
прошлое, совокупность возможных состояний { (u),u t} - как
будущее, то для марковского процесса при фиксированном
настоящем будущее не зависит от прошлого, а определяется
лишь настоящим и не зависит от того, когда и как система
пришла в это состояние.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
2
Марковские процессы
Марковские процессыМарковские случайные процессы названы по имени выдающегося русского математика А.А.Маркова, впервые начавшего изучение вероятностной связи случайных величин
и создавшего теорию, которую можно назвать "динамикой
вероятностей". В дальнейшем основы этой теории явились
исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как теория диффузионных процессов, теория надежности, теория массового обслуживания и т.д.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
3
Марков Андрей Андреевич Марков Андрей Андреевич Марков Андрей Андреевич
Марковские процессыМарков Андрей Андреевич
1856-1922
Русский математик.
Написал около 70 работ по
теории
чисел,
теории
приближения функций, теории
вероятностей. Существенно расширил сферу применения закона
больших чисел и центральной
предельной теоремы. Является
основоположником теории случайных процессов.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
4
Марковские процессы
Марковские процессыНа практике марковские процессы в чистом виде обычно
не встречаются. Но имеются процессы, для которых влиянием «предыстории» можно пренебречь, и при изучении
таких процессов можно применять марковские модели. В
настоящее время теория марковских процессов и ее приложения широко применяются в самых различных областях.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
5
Марковские процессы
Марковские процессыБиология: процессы рождения и гибели - популяции, мутации,
эпидемии.
Физика:
радиоактивные
распады,
теория
счетчиков
элементарных частиц, процессы диффузии.
Химия:
теория
следов
в
ядерных
фотоэмульсиях,
вероятностные модели химической кинетики.
Images.jpg
Астрономия: теория флуктуационной
яркости млечного пути.
Теория массового обслуживания: телефонные станции,
ремонтные мастерские, билетные кассы, справочные бюро,
станочные и другие технологические системы, системы управления
гибких производственных систем, обработка информации серверами.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
6
Марковские процессы
Марковские процессыПусть в настоящий момент t0 система находится в
определенном состоянии S0. Мы знаем характеристики
состояния системы в настоящем и все, что было при t < t0
(предысторию процесса). Можем ли мы предсказать будущее,
т.е. что будет при t > t0?
В точности – нет, но какие-то вероятностные характеристики
процесса в будущем найти можно. Например, вероятность того,
что через некоторое время
система S окажется в состоянии
S1 или останется в состоянии S0 и т.д.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
7
Марковские процессы. Пример.
Марковские процессыМарковские процессы. Пример.
Система S – группа самолетов, участвующих в воздушном бою. Пусть x – количество
«красных» самолетов, y – количество «синих» самолетов. К моменту времени t0 количество сохранившихся (не сбитых) самолетов
соответственно – x0, y0.
Нас интересует вероятность того, что в момент времени
t 0 численный перевес будет на стороне «красных». Эта вероятность зависит от того, в каком состоянии находилась система
в момент времени t0, а не от того, когда и в какой последовательности погибали сбитые до момента t0 самолеты.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
8
Дискретные цепи Маркова
Марковские процессыДискретные цепи Маркова
Марковский процесс с конечным или счетным числом
состояний и моментов времени называется дискретной
цепью Маркова. Переходы из состояния в состояние возможны только в целочисленные моменты времени.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
9
10. Дискретные цепи Маркова. Пример
Марковские процессыПредположим,
что
речь
идет
о
последовательных бросаниях монеты при
игре "в орлянку"; монета бросается в
условные моменты времени t =0, 1, ... и на
каждом шаге игрок может выиграть ±1 с
одинаковой
вероятностью
1/2,
таким
образом в момент t его суммарный выигрыш есть случайная величина ξ(t) с возможными значениями j = 0, ±1, ... .
При условии, что ξ(t) = k, на следующем шаге выигрыш будет
уже равен ξ(t+1) = k ± 1, принимая значения j = k ± 1 c одинаковой вероятностью 1/2. Можно сказать, что здесь с соответствующей вероятностью происходит переход из состояния ξ(t) = k в состояние ξ(t+1) = k ± 1.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
10
11. Дискретные цепи Маркова
Марковские процессыДискретные цепи Маркова
Обобщая этот пример, можно представить себе систему со
счетным числом возможных состояний, которая с течением
дискретного времени t = 0, 1, ... случайно переходит из состояния в состояние.
Пусть ξ(t) есть ее положение в момент t в результате цепочки случайных переходов
ξ(0) -> ξ(1) -> ... -> ξ(t) -> ξ(t+1) ->...-> ... .
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
11
12. Дискретные цепи Маркова
Марковские процессыДискретные цепи Маркова
При анализе случайных процессов с дискретными состояниями удобно пользоваться геометрической схемой – графом
состояний. Вершины графа – состояния системы. Дуги графа
– возможные переходы из состояния в состояние.
Игра «в орлянку».
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
12
13. Дискретные цепи Маркова
Марковские процессыДискретные цепи Маркова
Обозначим все возможные состояния целыми i = 0, ±1, ...
Предположим, что при известном состоянии ξ(t) =i на следующем шаге система переходит в состояние ξ(t+1) = j с условной вероятностью
P{ (t 1) j (t) i}
независимо от ее поведения в прошлом, точнее, независимо
от цепочки переходов до момента t:
P{ (t 1) j (t) i; (t 1) it 1;...; (0) i0 }
P{ (t 1) j (t) i}
Это свойство называется марковским.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
13
14. Дискретные цепи Маркова
Марковские процессыДискретные цепи Маркова
Число
pij P{ (t 1) j (t) i}
называется вероятностью
перехода системы из состояния i в состояние j за один шаг в
момент времени t 1.
Если переходная вероятность не зависит от t , то цепь
Маркова называется однородной.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
14
15. Дискретные цепи Маркова
Марковские процессыДискретные цепи Маркова
Матрица P , элементами которой являются вероятности
перехода pij , называется переходной матрицей:
p11 ... p1n
P p 21 ... p 2n
p
n1 ... p nn
Она является стохастической, т.е.
pij 1 ;
i
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
p ij 0 .
15
16. Дискретные цепи Маркова. Пример
Марковские процессыДискретные цепи Маркова. Пример
Матрица переходов для игры «в орлянку»
...
k 2
k 2
0
k 1
1/ 2
k
0
k 1
k
k 1
k 2
0
1/ 2
0
0
1/ 2
0
1/ 2
0
1/ 2
0
0
0
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
...
k 1 k 2
0
0
0
1/ 2
0
1/ 2
...
0
0
1/ 2
0
16
17. Дискретные цепи Маркова. Пример
Марковские процессыДискретные цепи Маркова. Пример
Садовник в результате химического анализа почвы оценивает
ее состояние одним из трех чисел - хорошее (1), удовлетворительное (2) или плохое (3). В результате наблюдений на протяжении многих лет садовник заметил,
что продуктивность почвы в текущем
году зависит только от ее состояния в
предыдущем году. Поэтому вероятности
перехода почвы из одного состояния в
другое можно представить следующей
цепью Маркова с матрицей P1:
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
17
18. Дискретные цепи Маркова. Пример
Марковские процессыДискретные цепи Маркова. Пример
Однако в результате агротехнических мероприятий садовник может изменить переходные вероятности в матрице P1.
Тогда матрица P1 заменится
на матрицу P2:
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
18
19. Дискретные цепи Маркова
Марковские процессыДискретные цепи Маркова
Рассмотрим, как изменяются состояния процесса с течением времени. Будем рассматривать процесс в последовательные моменты времени, начиная с момента 0. Зададим начальное распределение вероятностей p(0) { p1 (0),..., pm (0)} , где m число состояний процесса, pi (0) - вероятность нахождения
процесса в состоянии i в начальный момент времени. Вероятность pi (n) называется безусловной вероятностью состояния
i в момент времени n 1.
Компоненты вектора p (n) показывают, какие из возможных состояний цепи в момент времени n являются наиболее
вероятными.
m
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
pk (n) 1
k 1
19
20. Дискретные цепи Маркова
Марковские процессыДискретные цепи Маркова
Знание последовательности { p (n)} при n 1,... позволяет составить представление о поведении системы во времени.
В системе с 3-мя состояниями
p11 p12 p13
P p21
p
31
p22
p32
p23
p33
p2 (1) p1 (0) p12 p2 (0) p22 p3 (0) p32
p2 (n 1) p1 (n) p12 p2 (n) p22 p3 (n) p32
В общем случае:
p j (1) pk (0) pkj
p j (n 1) pk (n) pkj
k
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
k
p(n 1) p(n) P
20
21. Дискретные цепи Маркова. Пример
Марковские процессыДискретные цепи Маркова. Пример
Матрица
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
Шаг
{ p (n)}
n
0
1, 0, 0
n
1
0.2 , 0.5 , 0.3
n
2
0.04 , 0.35 , 0.61
n
3
0.008 , 0.195 , 0.797
n
4
0.0016 , 0.1015 , 0.8969
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
21
22. Дискретные цепи Маркова
Марковские процессыДискретные цепи Маркова
n
Матрица перехода за n шагов P(n) P .
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
p(2) p(0) P
2
p (2)
P(2) P 2
1, 0, 0
0.0016
0.
0.
0.0016
0.
0.
0.1015
0.0625
0.
0.1015
0.0625
0.
0.8969
0.9375
1.
0.8969
0.9375
1.
0.04 , 0.35 , 0.61
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
22
23. Дискретные цепи Маркова
Марковские процессыДискретные цепи Маркова
Как ведут себя марковские цепи при n ?
Для однородной марковской цепи при определенных условиях выполняется следующее свойство: p (n) при n .
Вероятности 0 не зависят от начального распределения
p(0) , а определяются только матрицей P . В этом случае называется стационарным распределением, а сама цепь – эргодической. Свойство эргодичности означает, что по мере увеличения n
вероятность состояний практически перестаёт изменяться, а система переходит в стабильный режим функционирования.
i
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
23
24. Дискретные цепи Маркова. Пример
Марковские процессыДискретные цепи Маркова. Пример
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
0 0 1
P() 0 0 1
0 0 1
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
p () (0,0,1)
24
25. Дискретные цепи Маркова. Пример
Марковские процессыДискретные цепи Маркова. Пример
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
0.1017 0.5254 0.3729
P() 0.1017 0.5254 0.3729
0.1017 0.5254 0.3729
p () (0.1017,0.5254,0.3729)
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
25
26. Марковские процессы с непрерывным временем
Марковские процессыПроцесс называется процессом с непрерывным временем, если
моменты возможных переходов из состояния в состояние не фиксированы заранее, а неопределенны, случайны и могут произойти
в любой момент.
Пример. Технологическая система S состоит из двух устройств,
каждое из которых в случайный момент времени может выйти из
строя, после чего мгновенно начинается ремонт узла, тоже продолжающийся заранее неизвестное, случайное время.
Возможны следующие состояния системы:
S0 - оба устройства исправны;
S1 - первое устройство ремонтируется, второе исправно;
S2 - второе устройство ремонтируется, первое исправно;
S3 - оба устройства ремонтируются.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
26
27. Марковские процессы с непрерывным временем
Марковские процессыМарковские процессы с непрерывным временем
Переходы системы S из состояния в состояние происходят
практически мгновенно, в случайные моменты выхода из строя
того или иного устройства или
окончания ремонта.
Вероятностью одновременного
выхода из строя обоих устройств
можно пренебречь.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
27
28. Потоки событий
Марковские процессыПотоки событий
Поток событий – последовательность однородных событий, следующих одно за другим в какие-то случайные моменты времени.
– это среднее число событий,
Интенсивность потока событий
приходящееся на единицу времени.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
28
29. Потоки событий
Марковские процессыПотоки событий
Поток событий называется стационарным, если его вероятностные характеристики не зависят от времени.
В частности, интенсивность
стационарного потока постоянна. Поток событий неизбежно имеет сгущения или разрежения, но они не носят закономерного характера, и среднее число событий, приходящееся на единицу времени, постоянно и от времени не зависит.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
29
30. Потоки событий
Марковские процессыПотоки событий
Поток событий называется потоком без последствий, если для
любых двух непересекающихся участков времени и число событий, попадающих на один из них, не зависит от того, сколько событий попало на другой. Другими словами, это означает, что события, образующие поток, появляются в те или иные моменты
времени независимо друг от друга и вызваны каждое своими собственными причинами.
Поток событий называется ординарным, если вероятность появления на элементарном участке t двух и более событий пренебрежимо мала по сравнению с вероятностью появления одного
события, т.е. события в нем появляются поодиночке, а не группами по нескольку сразу
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
30
31. Потоки событий
Марковские процессыПотоки событий
Поток событий называется простейшим (или стационарным пуассоновским), если он обладает сразу тремя свойствами: 1) стационарен, 2) ординарен, 3) не имеет последствий.
Простейший поток имеет наиболее простое математическое описание. Он играет среди потоков такую же особую
роль, как и закон нормального распределения среди других
законов распределения. А именно, при наложении достаточно большого числа независимых, стационарных и ординарных
потоков (сравнимых между собой по интенсивности) получается поток, близкий к простейшему.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
31
32. Потоки событий
Марковские процессыПотоки событий
Для простейшего потока с интенсивностью
интервал
времени T между соседними событиями имеет показательное
распределение с плотностью
p(x) e x , x 0 .
Для случайной величины T, имеющей показательное распределение, математическое ожидание есть величина, обратная параметру.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
32
33. Марковские процессы с непрерывным временем
Марковские процессыМарковские процессы с непрерывным временем
Рассматривая процессы с дискретными состояниями и непрерывным временем, можно считать, что все переходы системы S из состояния в состояние происходят под действием
простейших потоков событий (потоков вызовов, потоков отказов, потоков восстановлений и т.д.).
Если все потоки событий, переводящие систему S из состояния в состояние простейшие, то процесс, протекающий в
системе, будет марковским.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
33
34. Марковские процессы с непрерывным временем
Марковские процессыМарковские процессы с непрерывным временем
Пусть на систему, находящуюся в состоянии, действует
простейший поток событий. Как только появится первое событие этого потока, происходит «перескок» системы из состояния
в состояние.
- интенсивность потока событий, переводящий систему
из состояния
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
в
.
34
35. Марковские процессы с непрерывным временем
Марковские процессыМарковские процессы с непрерывным временем
Пусть рассматриваемая система S имеет
возможных состояний
. Вероятность p ij (t) является вероятностью перехода из состояния i в состояние j за время t.
Вероятность i - го состояния
- это вероятность того,
что в момент времени t система будет находиться в состоянии
. Очевидно, что для любого момента времени сумма
всех вероятностей состояний равна единице:
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
35
36. Марковские процессы с непрерывным временем
Марковские процессыМарковские процессы с непрерывным временем
Для нахождения всех вероятностей состояний
как
функций времени составляются и решаются дифференциальные уравнения Колмогорова – особого вида уравнения, в которых неизвестными функциями являются вероятности состояний.
Для переходных вероятностей:
p ij (t) p ik (t) kj
k
Для безусловных вероятностей:
p j (t) p k (t) kj
k
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
36
37. Колмогоров Андрей Николаевич
Марковские процессыКолмогоров Андрей Николаевич
1903-1987
Великий русский
математик.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
37
38. Марковские процессы с непрерывным временем
Марковские процессыМарковские процессы с непрерывным временем
- интенсивности потока отказов;
- интенсивности потока восстановлений.
Пусть система находится в состоянии
S0. В состояние S1 ее переводит поток
отказов первого устройства. Его интенсивность равна
где
- среднее время безотказной работы устройства.
Из состояния S1 в S0 систему переводит поток восстановлений
первого устройства. Его интенсивность равна
где
- среднее время ремонта первого станка.
Аналогично вычисляются интенсивности потоков событий, переводящих систему по всем дугам графа.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
38
39. Системы массового обслуживания
Марковские процессыПримеры систем массового обслуживания (СМО): телефонные станции, ремонтные мастерские,
билетные
кассы,
справочные
бюро,
станочные и другие технологические системы,
системы
управления
гибких
производственных систем,
обработка информации серверами и т.д.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
39
40. Системы массового обслуживания
Марковские процессыСистемы массового обслуживания
СМО состоит из какого – то количества обслуживающих
единиц, которые называются каналами обслуживания (это
станки, роботы, линии связи, кассиры и т.д.). Всякая СМО
предназначена для обслуживания потока заявок (требований), поступающих в случайные моменты времени.
Обслуживание заявки продолжается случайное время, после чего канал освобождается и готов к приему следующей
заявки.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
40
41. Системы массового обслуживания
Марковские процессыСистемы массового обслуживания
Процесс работы СМО – случайный процесс с дискретными
состояниями и непрерывным временем. Состояние СМО меняется скачком в моменты появления каких - то событий
(прихода новой заявки, окончания обслуживания, момента,
когда заявка, которой надоело ждать, покидает очередь).
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
41
42. Системы массового обслуживания
Марковские процессыСистемы массового обслуживания
Классификация систем массового обслуживания
1. СМО с отказами;
2. СМО с очередью.
В СМО с отказами заявка, поступившая в момент, когда все каналы заняты, получает отказ, покидает СМО и в дальнейшем не
обслуживается.
В СМО с очередью заявка, пришедшая в момент, когда все каналы заняты, не уходит, а становится в очередь и ожидает возможности быть обслуженной.
СМО с очередями подразделяются на разные виды в зависимости
от того, как организована очередь – ограничена или не ограничена. Ограничения могут касаться как длины очереди, так и времени
ожидания, «дисциплины обслуживания».
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
42
43. Системы массового обслуживания
Марковские процессыСистемы массового обслуживания
Предмет теории массового обслуживания – построение
математических моделей, связывающих заданные условия
работы СМО (число каналов, их производительность, правила
работы, характер потока заявок) с интересующими нас характеристиками – показателями эффективности СМО. Эти показатели описывают способность СМО справляться с потоком
заявок. Ими могут быть: среднее число заявок, обслуживаемых СМО в единицу времени; среднее число занятых каналов; среднее число заявок в очереди; среднее время ожидания обслуживания и т.д.
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
43
44.
СПАСИБОЗА ВНИМАНИЕ!!!
44
45. Построить граф переходов
Марковские процессыПостроить граф переходов
0.30
0.70
0.0
0.10
0.60
0.30
0.50
0.50
0.0
ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая
статистика и случайные процессы»
Марковские случайные процессы названы по имени выдающегося русского математика А.А. Маркова (1856-1922), впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать “динамикой вероятностей”. В дальнейшем основы этой теории явились исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как теория диффузионных процессов, теория надежности, теория массового обслуживания и т.д. В настоящее время теория Марковских процессов и ее приложения широко применяются в самых различных областях таких наук, как механика, физика, химия и др.
Благодаря сравнительной простоте и наглядности математического аппарата, высокой достоверности и точности получаемых решений особое внимание Марковские процессы приобрели у специалистов, занимающихся исследованием операций и теорией принятия оптимальных решений.
Несмотря на указанную выше простоту и наглядность, практическое применение теории Марковских цепей требует знания некоторых терминов и основных положений, на которых следует остановиться перед изложением примеров.
Как указывалось, Марковские случайные процессы относятся к частным случаям случайных процессов (СП). В свою очередь, случайные процессы основаны на понятии случайной функции (СФ).
Случайной функцией называется функция, значение которой при любом значении аргумента является случайной величиной (СВ). По- иному, СФ можно назвать функцию, которая при каждом испытании принимает какой-либо заранее неизвестный вид.
Такими примерами СФ являются: колебания напряжения в электрической цепи, скорость движения автомобиля на участке дороги с ограничением скорости, шероховатость поверхности детали на определенном участке и т.д.
Как правило, считают, что если аргументом СФ является время, то такой процесс называют случайным. Существует и другое, более близкое к теории принятия решений, определение случайных процессов. При этом под случайным процессом понимают процесс случайного изменения состояний какой-либо физической или технической системы по времени или какому-либо другому аргументу.
Нетрудно заметить, что если обозначить состояние и изобразить зависимость, то такая зависимость и будет случайной функцией.
Случайные процессы классифицируются по видам состояний и аргументу t. При этом случайные процессы могут быть с дискретными или непрерывными состояниями или временем.
Кроме указанных выше примеров классификации случайных процессов существует еще одно важное свойство. Это свойство описывает вероятностную связь между состояниями случайных процессов. Так, например, если в случайном процессе вероятность перехода системы в каждое последующее состояние зависит только от предыдущего состояния, то такой процесс называется процессом без последействия.
Отметим, во-первых, что случайный процесс с дискретными состояниями и временем называется случайной последовательностью.
Если случайная последовательность обладает Марковским свойством, то она называется цепью Маркова.
С другой стороны, если в случайном процессе состояния дискретны, время непрерывно и свойство последействия сохраняется, то такой случайный процесс называется Марковским процессом с непрерывным временем.
Марковский случайный процесс называется однородным, если переходные вероятности остаются постоянными в ходе процесса.
Цепь Маркова считается заданной, если заданы два условия.
1. Имеется совокупность переходных вероятностей в виде матрицы:
2. Имеется вектор начальных вероятностей
описывающий начальное состояние системы.
Кроме матричной формы модель Марковской цепи может быть представлена в виде ориентированного взвешенного графа (рис. 1).
Рис. 1
Множество состояний системы Марковской цепи, определенным образом классифицируется с учетом дальнейшего поведения системы.
1. Невозвратное множество (рис. 2).
Рис.2.
В случае невозвратного множества возможны любые переходы внутри этого множества. Система может покинуть это множество, но не может вернуться в него.
2. Возвратное множество (рис. 3).
Рис. 3.
В этом случае также возможны любые переходы внутри множества. Система может войти в это множество, но не может покинуть его.
3. Эргодическое множество (рис. 4).
Рис. 4.
В случае эргодического множества возможны любые переходы внутри множества, но исключены переходы из множества и в него.
4. Поглощающее множество (рис. 5)
Рис. 5.
При попадании системы в это множество процесс заканчивается.
В некоторых случаях, несмотря на случайность процесса, имеется возможность до определенной степени управлять законами распределения или параметрами переходных вероятностей. Такие Марковские цепи называются управляемыми. Очевидно, что с помощью управляемых цепей Маркова (УЦМ) особенно эффективным становится процесс принятия решений, о чем будет сказано впоследствии.
Основным признаком дискретной Марковской цепи (ДМЦ) является детерминированность временных интервалов между отдельными шагами (этапами) процесса. Однако часто в реальных процессах это свойство не соблюдается и интервалы оказываются случайными с каким-либо законом распределения, хотя марковость процесса сохраняется. Такие случайные последовательности называются полумарковскими.
Кроме того, с учетом наличия и отсутствия тех или иных, упомянутых выше, множеств состояний Марковские цепи могут быть поглощающими, если имеется хотя бы одно поглощающее состояние, или эргодическими, если переходные вероятности образуют эргодическое множество. В свою очередь, эргодические цепи могут быть регулярными или циклическими. Циклические цепи отличаются от регулярных тем, что в процессе переходов через определенное количество шагов (циклов) происходит возврат в какое-либо состояние. Регулярные цепи этим свойством не обладают.