Имея размеченный граф состояний, можно написать уравнения Колмогорова для вероятностей состояний, а также написать и решить алгебраические уравнения для финальных вероятностей. Для некоторых случаев удается последние уравнения решить заранее, в буквенном виде. В частности, это удается сделать, если граф состояний системы представляет собой так называемую «схему гибели и размножения».
Граф состояний для схемы гибели и размножения имеет вид, показанный на рисунке 19.1.
л01 л12 л23 лk-1,k лk,k-1 лn-1,n
л10 л21 л32 лk,k-1 лk+1,k лn,n-1
Рисунок 19.1
Особенность этого графа в том, что все состояния системы можно вытянуть в одну цепочку, в которой каждое из средних состояний (S1, S2, ..., Sn-1) связано прямой и обратной стрелкой с каждым из соседних состояний -- правым и левым, а крайние состояния (S0, Sn) -- только с одним соседним состоянием. Термин «схема гибели и размножения» ведет начало от биологических задач, где подобной схемой описывается изменение численности популяции.
Схема гибели и размножения очень часто встречается в разных задачах практики, в частности -- в теории массового обслуживания. Найдем для нее финальные вероятности состояний.
Предположим, что все потоки событий, переводящие систему по стрелкам графа,-- простейшие.
Пользуясь графом рисунка 19.1, составим и решим алгебраические уравнения для финальных вероятностей состояний.
Для первого состояния S0 имеем:
01p0=10p1. (19.1)
Для второго состояния S1:
(12 + 10)p1 = 01p0 + 21P2.
В силу (19.1) последнее равенство приводится к виду
23Р2 = 32p3
k -1,kpk-1=k,k-1pk,
где k принимает все значения от 0 до n. Итак, финальные вероятности р0, p1,..., pn удовлетворяют уравнениям
…………………. (19.2)
k-1,kpk-1=k,k-1pk
………………….
n-1,npn-1=n,n-1pn
кроме того, надо учесть нормировочное условие
p 0 +p1+p2+ ... +рn =1. (19.3)
Решим эту систему уравнений. Из первого уравнения (19.2) выразим р1 через р0:
p 1 = (01/10)p0. (19.4)
Из второго, с учетом (19.4), получим:
p 2=(12/21)p1=(1201)/(2110)p0; (19.5)
из третьего, с учетом (19.5),
p3=(231201)/(322110)p0 (19.6)
и вообще, для любого k (от 1 до n):
pk=(k-1,k... 1201)/(k,k-1... 2110)p0 (19.7)
Обратим внимание на формулу (19.7). В числителе стоит произведение всех интенсивностей, стоящих у стрелок, ведущих слева направо (с начала и до данного состояния Sk,), а в знаменателе -- произведение всех интенсивностей, стоящих у стрелок, ведущих справа налево (с начала и до Sk).
Таким образом, все вероятности состояний р0, р1, ..., рn выражены через одну из них (р0). Подставим эти выражения в нормировочное условие (19.3). Получим, вынося за скобку p0:
отсюда получим выражение для р0:
Все остальные вероятности выражены через р0 (см. формулы (19.4) - (19.7)). Коэффициенты при р0 в каждой из них представляют собой последовательные члены ряда, стоящего после единицы в формуле (19.8). Значит, вычисляя р0, мы уже нашли все эти коэффициенты.
Полученные формулы применяются при решении простейших задач теории массового обслуживания.
класс систем, которые меняют свои состояния в случайные моменты времени . Как и в предыдущем случае, в этих системах рассматривается процесс с дискретными состояниями
. Например, переход объекта от исправного состояния к неисправному, соотношение сил сторон в ходе боя и т. п. Оценка эффективности таких систем определяется с помощью вероятностей каждого состояния на любой момент времени , .Чтобы определить вероятности состояния системы для любого момента времени необходимо воспользоваться математическими моделями марковских процессов с непрерывным временем (непрерывных марковских процессов).
При моделировании состояния систем с непрерывными марковскими процессами мы уже не можем воспользоваться переходными вероятностями , так как вероятность "перескока" системы из одного состояния в другое точно в момент времени равна нулю (как вероятность любого отдельного значения непрерывной случайной величины).
Поэтому вместо переходных вероятностей вводятся в рассмотрение плотности вероятностей переходов :
где - вероятность того, что система, находившаяся в момент времени в состоянии за время перейдет в состояние .
С точностью до бесконечно малых второго порядка из приведенной формулы можно представить:
Непрерывный марковский процесс называется однородным ,если плотности вероятностей переходов не зависят от времени (от момента начала промежутка ). В противном случае непрерывный марковский процесс называется неоднородным .
Целью моделирования , как и в случае дискретных процессов, является определение вероятностей состояний системы . Эти вероятности находятся интегрированием системы дифференциальных уравнений Колмогорова.
Сформулируем методику моделирования по схеме непрерывных марковских процессов.
Пример 2.2 . Составить систему дифференциальных уравнений Колмогорова для нахождения вероятностей состояний системы, размеченный граф состояний которой представлен на рис. 2.3 .
Рис. 2.3.
Решение
Очевидно, .
Поэтому любое из первых трех уравнений можно исключить, как линейно зависимое.
Для решения уравнений Колмогорова необходимо задать начальные условия. Для рассмотренного примера 2.2, можно задать такие начальные условия: , .
Однородный марковский процесс с непрерывным временем можно трактовать как процесс смены состояний под влиянием некоторого потока событий. То есть плотность вероятности перехода можно трактовать как интенсивность потока событий, переводящих систему из -го состояния в -е. Такими потоками событий являются отказы техники, вызовы на телефонной станции, рождение и т. п.
При исследовании сложных объектов всегда интересует: возможен ли в исследуемой системе установившейся (стационарный) режим? То есть, как ведет себя система при ? Существуют ли предельные значения 
? Как правило, именно эти предельные значения интересуют исследователя.
Ответ на данный вопрос дает теорема Маркова.
Если для однородного дискретного марковского процесса с конечным или счетным числом состояний все , то предельные значения существуют и их значения не зависят от выбранного начального состояния системы.
Применительно к непрерывным марковским процессам теорема Маркова трактуется так: если процесс однородный и из каждого состояния возможен переход за конечное время в любое другое состояние и число состояний счетно или конечно, то предельные значения существуют и их значения не зависят от выбранного начального состояния.
Особенностью модели является наличие прямой и обратной связей с каждым соседним состоянием для всех средних состояний; первое и последнее (крайние) состояния связаны только с одним "соседом" (с последующим и предыдущим состояниями соответственно).
Название модели - "гибель и размножение" - связано с представлением, что стрелки вправо означают переход к состояниям, связанным с ростом номера состояния ("рождение"), а стрелки влево - с убыванием номера состояний ("гибель").
Очевидно, стационарное состояние в этом процессе существует. Составлять уравнения Колмогорова нет необходимости, так как структура регулярна, необходимые формулы приводятся в справочниках, а также в рекомендованной литературе.
Рис. 2.6.
Интенсивности потоков отказов;
Интенсивности потоков восстановлений.
Пусть среднее время
безотказной
работы каждого компьютера , а среднее время
восстановления одного компьютера 
.
Тогда интенсивность отказов
одного компьютера будет равна 
, а интенсивность восстановления одного компьютера - 
.
В состоянии работают оба компьютера, следовательно:
В состоянии работает один компьютер , значит:
В состоянии восстанавливается один компьютер , тогда:
В состоянии восстанавливаются оба компьютера:
Используем зависимости (2.2). Вероятность состояния, когда обе машины исправны:
Вероятность второго состояния (работает один компьютер ):
Аналогично вычисляется и . Хотя найти можно и так:
Пример 2.4 . В полосе объединения работают передатчики противника. Подразделение операторов-связистов армейской контрразведки ведет поиск передатчиков по их радиоизлучениям. Каждый оператор, обнаружив передатчик противника, следит за его частотой, при этом новым поиском не занимается. В процессе слежения частота может быть потеряна, после чего оператор снова осуществляет поиск .
Разработать математическую модель для определения эффективности службы подразделения операторов. Под эффективностью понимается среднее число обнаруженных передатчиков за установленный промежуток времени.
Решение
Будем считать, что наши операторы и радисты противника обладают высокой квалификацией, хорошо натренированы. Следовательно, можно принять, что интенсивности обнаружения частот передатчиков противника и потерь слежения - постоянны. Обнаружение частоты и ее потеря зависят только от того, сколько запеленговано передатчиков в настоящий момент и не зависят от того, когда произошло это пеленгование. Следовательно, процесс обнаружения и потерь слежения за частотами можно считать непрерывным однородным марковским процессом.
Исследуемое свойство этой системы пеленгации: загруженность операторов, что, очевидно, совпадает с числом обнаруженных частот.
Введем обозначения:
Количество операторов;
Количество передатчиков противника, полагаем ;
Среднее число операторов, ведущих слежение ;
Среднее число запеленгованных передатчиков;
Интенсивность пеленгации передатчика противника одним оператором;
Интенсивность потока потерь слежения оператором;
Текущая численность запеленгованных передатчиков 
.
В системе пеленгации возможны следующие состояния:
Запеленгованных передатчиков нет, поиск ведут операторов, вероятность состояния ;
Состояния СМО (всего N+1 состояний):
S0 - все каналы свободны,
S1 - занят ровно один канал, остальные свободны,
Sk - заняты ровно k каналов, остальные свободны,
SN - заняты все N каналов.
k - количество требований в системе,
N-количество приборов (каналов),
l - интенсивность поступления требований в систему (количество требований в единицу времени),
m - интенсивность обслуживания (скорость обслуживания - количество требований, обслуженных в единицу времени).
При возможен расчет по следующим формулам:
Вероятность нахождения в системе k требований
(4.1)
Вероятность простоя системы
(4.2)
5.6. Математическая модель СМО без отказов(с ожиданием)
Рассмотрим разомкнутую СМО без отказов. Имеем N-каналов , на которые с интенсивностью l поступают требования, m - интенсивность обслуживания одним каналом.
Состояния системы:
S0- система простаивает,
S1- занят 1 канал,
S2- занято 2 канала,
SN - заняты все N каналов,
SN+1- все каналы заняты и одно требование в очереди и т. д.
 |
Характеристика | Формула |
|
Показатель (коэффициент) нагрузки, приходящейся на один канал (пропускная способность системы). Если ψ<1, то система справляется и очередь конечная. Поэтому остальные характристики имеют смысл только при ψ<1. | ||
|
||
Вероятности состояний |
|
|
Вероятность отказа | ||
|
||
|
||
|
||
Среднее время обслуживания одной заявки | ||
5.7. Математическая модель с ожиданием и ограничением на длину очереди
Рассмотрим разомкнутую СМО с потерями в случае, когда все каналы и места в очереди заняты. Имеем N-каналов , на которые с интенсивностью l поступают требования, m - интенсивность обслуживания одним каналом, m – ограничение на количество мест в очереди.
Состояния системы:
S0- система простаивает,
S1- занят 1 канал,
S2- занято 2 канала,
SN - заняты все N каналов,
SN+1- все каналы заняты и одно требование в очереди
SN+m - все каналы заняты и все m мест в очереди также заняты, заявка получает отказ
Граф состояний для разомкнутой СМО с ожиданием и ограничением на длину очереди:
 |
Т. к. входящий поток бесконечный, то интенсивность входного потока постоянна.
В соответствии с моделью «гибель и размножение»:
Характеристика | Формула |
|
Показатель (коэффициент) нагрузки СМО (трафик) | ||
Показатель (коэффициент) нагрузки, приходящейся на один канал (пропускная способность системы). | ||
Вероятность того, что все каналы свободны (вероятность простаивания всей системы) |
|
|
Вероятности состояний |
|
|
Вероятность отказа |
|
|
Вероятность того, что заявка будет принята в СМО |
|
|
Среднее число занятых каналов - среднее число заявок, находящихся под обслуживанием |
|
|
Среднее число заявок, находящихся в очереди |
|
|
Среднее число заявок, находящихся в СМО (как в очереди, так и под обслуживанием) |
|
|
Среднее время ожидания заявки в очереди | ||
Среднее время обслуживания одной заявки, относящееся ко всем заявкам – как обслуженным, так и получившим отказ | ||
Среднее время пребывания заявки в системе |
5.8. Математическая модель СМО с отказами и бесконечным источником требований
Имеем N -каналов, на которые с интенсивностью простейшего входящего потока l поступают требования. Непрерывная случайная величина - время обслуживания одной заявки одним каналом, распределена по показательному закону с параметром m . m - это интенсивность обслуживания одним каналом. В истеме не может быть очереди: когда все каналы заняты, то заявка получает отказ.
Режим функционирования того или иного обслуживающего канала не влияет на режим функционирования других обслуживающих каналов системы, причем длительность процедуры обслуживания каждым из каналов является случайной величиной, подчиненной экспоненциальному закону распределения. Конечная цель использования n параллельно включенных обслуживающих каналов заключается в повышении (по сравнению с одноканальной системой) скорости обслуживания требований за счет обслуживания одновременно n клиентов. Граф состояний многоканальной системы массового обслуживания с отказами имеет вид, показанный на рис.
Состояния системы:
S0- система простаивает,
S1- занят 1 канал, остальные свободны
S2- занято 2 канала, остальные свободны
SN - заняты все N каналов, при поступлении заявки она получает отказ
Граф состояний для разомкнутой СМО без отказов:
 |
Т. к. входящий поток бесконечный, то интенсивности постоянные.
В соответствии с моделью «гибель и размножение»:
Характеристика | Формула |
|
Показатель (коэффициент) нагрузки СМО (трафик) | ||
Вероятность того, что все каналы свободны (вероятность простаивания всей системы) |
|
|
Вероятности состояний |
|
|
Вероятность отказа |
|
|
Вероятность того, что заявка будет принята в СМО |
|
|
Среднее число занятых каналов - среднее число заявок, находящихся под обслуживанием. Оно равно среднему числу заявок, находящихся в СМО (очереди нет) |
|
|
Среднее время пребывания заявки в системе |
5.9. Математическая модель замкнутой многоканальной СМО
До сих пор мы рассматривали только такие системы массового обслуживания, для которых интенсивность входящего потока заявок не зависит от состояния системы. В этом случае источник заявок является внешним по отношению к СМО и генерирует неограниченный поток требований. Рассмотрим системы массового обслуживания, для которых зависит от состояния системы, при чем источник требований является внутренним и генерирует ограниченный поток заявок.
Например, обслуживается машинный парк, состоящий из m машин, бригадой N механиков (m>N), причем каждая машина может обслуживаться только одним механиком.
Здесь машины являются источниками требований (заявок на обслуживание), а механики - обслуживающими каналами. Неисправная машина после обслуживания используется по своему прямому назначению и становится потенциальным источником возникновения требований на обслуживание. Очевидно, что интенсивность зависит от того, сколько машин в данный момент находится в эксплуатации и сколько машин обслуживается или стоит в очереди, ожидая обслуживания. В рассматриваемой модели емкость источника требований следует считать ограниченной. Входящий поток требований исходит из ограниченного числа эксплуатируемых машин, которые в случайные моменты времени выходят из строя и требуют обслуживания. Требование, поступившее в систему в момент, когда свободен хотя бы один канал, немедленно идет на обслуживание. Если требование застает все каналы занятыми обслуживанием других требований, то оно не покидает систему, а становится в очередь и ждет, пока один из каналов не станет свободным. Таким образом, в замкнутой системе массового обслуживания входящий поток требований формируется из выходящего.
Процессами гибели и размножения называются марковские процессы, имеющие размеченный граф, приведенный на рис.1.8.
Рис.1.8. Размеченный граф процессов гибели и размножения
−интенсивности
размножения,
−
интенсивности гибели.
Для нахождения
вектора предельных вероятностей
составим
систему уравнений:
(по Колмогорову),
(1.14)
Подставляя (1.14) в (1.15), получим:
Для всех последующих состояний уравнения будут иметь одинаковый вид:
(
).
Чтобы определить
все предельные вероятности, воспользуемся
условием:
.
Для этого выразим
через
:
. (1.16)
Введем обозначение
,
тогда (1.14) и (1.16) запишутся в виде:.
Все оставшиеся
вероятности выражаются через
:
.
В результате
получим выражение для
:
.
Определив
,
можем рассчитать все
.
Пример анализа процесса гибели и размножения.
Пусть задан процесс гибели и размножения:
Расчет предельных вероятностей:
;
;
;
Вопросы и задачи
1. Определить предельные вероятности состояний в марковской цепи, описываемой следующей матрицей вероятностей переходов. В начальный момент система находится в первом состоянии
2. Управляемый объект имеет 4 возможных состояния. Через каждый час производится снятие информации и перевод объекта из одного состояния в другое в соответствии со следующей матрицей вероятностей переходов:
Найти вероятности нахождения объекта в каждом из состояний после второго часа, если в начальный момент он находился в состоянии S 3.
3. По заданным коэффициентам системы уравнений Колмогорова составить размеченный граф состояний. Определить коэффициенты А, В, С, Д в уравнениях:
А Р1 + 4 Р2 + 5 Р3 = 0
В Р2 + 4 Р1 + 2 Р4 = 0
С Р3 + 2 Р2 + 6 Р1 = 0
Д Р4 + 7 Р1 + 2 Р3 = 0.
4. Физическая система имеет 4 состояния. Размеченный граф состояний приведен ниже.
Определить предельные вероятности состояний системы.
1.4. Пуассоновские смо
В пуассоновских
СМО входной поток заявок – пуассоновский,
т.е.
,
а время обслуживания распределено по
экспоненциальному закону
.
1.4.1. Одноканальные пуассоновские смо
СМО без очереди
(N=0).
Используем
теорию процессов гибели и размножения
для определения вероятностей
(рис.
1.9).
;
.
Вероятность отказа
заявки в обслуживании равна
:
.
Среднее число заявок в системе равно:
.
(1.17)
Среднее время пребывания в СМО равно среднему времени обслуживания:
;
(1.18)
так как очереди в СМО нет, то
Эффективный поток заявок определяется по формуле:
.
СМО с ограниченной очередью
Размеченный граф данного класса СМО представлен на рис. 1.10.
Конечное состояние
в системе определяется максимальным
числом мест в очереди плюс 1 канал
обслуживания. Введем обозначение
.
Система уравнений для нахождения
предельных вероятностей
имеет вид:
(1.19)
Учитывая, что
,
получим уравнение для определения
:
,
откуда
получим
,
где
–любое, т.е.
на отношение
не накладывается
никаких ограничений.
Вероятности
.
Определим среднее число заявок в СМО:
.(1.20)
Обозначим через
,
тогда
(1.21)
Подставив (1.20) в (1.21),получим:
.
(1.22)
Отметим, что вероятность отказа равна вероятности последнего состояния в размеченном графе:
;
.
Используя формулы Литтла (1.1 – 1.3), получим:
;
(1.23)
;
(1.24)
.
(1.25)
Рассмотрим частный
случай, когда
,
т.е.
.
В этом случае:
;
.
Основные характеристики СМО определяются по следующим формулам:
СМО
с неограниченной очередью.
Так
как СМО без отказов, то
,
а
.
Для получения формул расчета характеристик СМО воспользуемся формулами для СМО с ограниченной очередью.
.
(1.26)
Чтобы существовал
предел, необходимо выполнение условия
,
которое означает, что интенсивность
обслуживания должна быть больше
интенсивности потока заявок, иначе
очередь будет расти до бесконечности.
Отметим, что в СМО с бесконечной очередью
.
(1.27)
Предел (1.26) равен:
,
и тогда
;
(1.28)
;
(1.29)
.
(1.30)
Рассмотрим вопрос о функции распределения времени пребывания в одноканальной СМО с бесконечной очередью при дисциплине очереди FIFO .
В
ремя
пребывания в СМО, когда в ней находитсяn
заявок (система находится в состоянии
S
n
,
равно сумме длительностей обслуживания
n
заявок. Так как время обслуживания
распределено по экспоненциальному
закону, то плотность функции распределения
условной вероятности времени пребывания
в СМО, когда в ней находится n
заявок, определяется так же, как
распределение Эрланга n
порядка (см.
раздел 1.2.2)
Искомая плотность функции распределения определяется выражением:
С учетом (1.19) и
(1.27), 
запишется в виде:
Видим, что
−
экспоненциальное распределение с
математическим ожиданием
,
что совпадает с (1.28).
Из того, что
−
экспоненциальное распределение, следует
важный вывод: выходной поток заявок в
одноканальной СМО с бесконечной очередью
является пуассоновским потоком.
Здесь мы изучим некоторую схему марковских процессов с непрерывным временем, называемую процессом гибели и размножения и играющую базовую роль в теории массового обслуживания.
Определение 11.1. Марковский процесс с конечным числом состояний, протекающий в системе S, называется процессом гибели и размножения, если граф ее состояний имеет структуру, представленную на рис. 11.1.
Характеристический признак этого графа состоит в том, что каждое из состояний s 2 ,..., s k ,..., s n l связано стрелками переходов в обе стороны с каждым из своих соседних состояний слева и справа, а первое и последнее состояния Sj и s n связаны стрелками в обе стороны только с одним своим соседним состоянием: соответственно с s 2 и s n _ v Таким образом, система S, в которой протекает процесс гибели и размножения, может из любого своего состояния непосредственно перейти только в одно из его соседних состояний. При этом под «размножением» будем понимать процесс по стрелкам слева направо, а под «гибелью» - процесс по стрелкам справа налево.
Название «процесс гибели и размножения» восходит к математическому моделированию биологических задач о численности популяций, распространении эпидемий и др.
Рассмотрим процесс гибели и размножения с непрерывным временем и с размеченным графом состояний на рис. 11.2.
Матрица плотностей вероятностей переходов процесса гибели и размножения представлена в таблице (с. 124).
Для вероятностей состояний /?,(/), p 2 (t), ...,p k (t), -,Р п _ { (/), P n (t) можно по одному из двух правил, данных в § 4, составить систему дифференциальных уравнений Колмогорова, которая для данного случая будет иметь вид (11.1):
Если марковский процесс однороден (т.е. пуассоновские потоки стационарны), то плотности вероятностей переходов (интенсивности потоков) Ху в системе (11.1) не зависят от времени t; в противном случае Ху представляют собой некоторые функции времени: Ху = Xy(t).
Система (11.1) решается при начальном распределении вероятностей /7j(0), ..., р п { 0), удовлетворяющих нормировочному условию /?j(0) + ... + /> п (0) = 1. Решение системы (11.1) также должно удовлетворять нормировочному условиюp x {t) +... + p n (t ) = 1 в любой момент времени t.
Из графа состояний однородного процесса гибели и размножения (см. рис. 11.1) непосредственно усматривается эргодичность системы S. Поэтому из марковости процесса, по теореме 10.1, вытекает существование финальных вероятностей состоянийp v ..., р п.
Теорема 11.1. Финальные вероятности p v ..., р п процесса гибели и размножения с непрерывным временем можно вычислить по следующим формулам:
Доказательство: Составим по одному из трех правил, данных в § 10, систему линейных алгебраических уравнений:
(сравните с системой дифференциальных уравнений (11.1)).
Матрица коэффициентов системы (11.4) будет иметь следующий вид:
Для упрощения вида этой матрицы проведем следующие элементарные преобразования ее строк: 1-ю строку прибавим ко 2-й; полученную 2-ю строку прибавим к 3-й и т.д.; полученную (п - 1)-ю строку прибавим к п -й строке. В результате получим матрицу, последняя (п- я) строка которой - нулевая, и потому ее можно отбросить.
Таким образом, предельные вероятности состоянийp v ..., р п удовлетворяют системе линейных алгебраических уравнений, соответствующей матрице (11.5):
и нормировочному условию
Из 1-го уравнения системы (11.6) с учетом (11.3) при к= 2:
Из 2-го уравнения системы (11.6) с учетом (11.8) и (11.3) при к=
3:
Из 3-го уравнения системы (11.6) с учетом (11.9) и (11.3) при к =
4:
итак далее,
Таким образом, мы доказали справедливость формулы во второй строке (11.2). Для доказательства формулы в первой строке (11.2) подставим (11.8), (11.9), (11.10) в нормировочное условие (11.7):
откуда получим требуемое равенство
Правая часть формулы (11.3) устроена следующим образом: в числителе стоит произведение плотностей вероятностей переходов А,..,
начиная с А 12 12 и кончая Х к _ { к, где второй индекс к множителя Х к _ х к
совпадает с индексом а к, причем первый индекс каждого множителя A.j, начиная со второго А 23 , совпадает со вторым индексом предыдущего множителя; в знаменателе стоит произведение множителей получающееся из произведения в числителе, если в последнем у каждого множителя X.. поменять местами индексы: . г
В терминах матрицы плотностей вероятностей переходов Л правая часть формулы (11.3) представляет собой отношение произведения элементов наддиагонали к произведению элементов поддиагонали квадратной матрицы к -го порядка, составленной из первых к строк и первых к столбцов матрицы А.
В терминах размеченного графа состояний системы S (см. рис. 11.2) правая часть формулы (11.3) есть дробь, числитель которой представляет собой произведение всех плотностей вероятностей переходов по стрелкам слева направо, начиная с первого и кончая к -м состоянием, а знаменатель суть произведение всех плотностей вероятностей обратных переходов по стрелкам справа налево с состояния
S k ДО СОСТОЯНИЯ S J.
В формулах (11.2) все финальные вероятностиp v ..., р п выражены через финальную вероятность р у Можно было бы при решении системы (11.6) выразить их через любую другую предельную вероятность.
Часто нумерацию состояний системы S начинают не с единицы, а с нуля: s Q , s v ..., s n . В этом случае формулы (11.2) и (11.3) приобретают соответственно вид:
Пример 11.1. Данные, полученные при исследование рынка ценных бумаг, показали, что рыночная цена одной акции некоторого акционерного общества может колебаться в пределах от 1000 до 2000 руб. включительно. Рассматривая в качестве системы S одну такую акцию, нас будут интересовать следующие ее пять состояний, характеризующихся рыночной ценой акции:
Sj - от 1000 до 1200 руб.; s 2 - от 1200 до 1400 руб.;
- 5 3 - от 1400 до 1600 руб.; s 4 - от 1600 до 1800 руб.;
- 5 5 - от 1800 до 2000 руб. включительно.
Замечено, что рыночная цена в будущем зависит в основном от ее цены в текущий момент времени. В силу случайных воздействий рынка изменение рыночной цены акции может произойти в любой случайный момент времени, при этом абсолютное изменение цены не превосходит 200 руб. Переходы системы S из одного состояния в другое происходят со следующими плотностями вероятностей переходов, пренебрежимо мало изменяющимися с течением времени:
Требуется спрогнозировать рыночную цену акции на будущее. Стоит ли приобретать акции по цене 1700 руб.?
Так как система S может находиться только в одном из отмеченных пяти состояний, то процесс, протекающий в системе 5, - дискретный.
Поскольку цена акции в будущем существенно зависит от ее цены в настоящем, то данный процесс можно считать марковским.
В силу того что изменение цены акции может происходить в любой случайный момент времени, то процесс в системе S является процессом с непрерывным временем.
Так как абсолютное изменение цены акции не превышает 200 руб., то это означает, что система S может перейти только в соседнее состояние, т.е. перескоков быть не может.
И наконец, поскольку плотности вероятностей переходов можно считать постоянными, то процесс однороден.
Итак, в системе S протекает однородный марковский дискретный процесс с непрерывным временем.
По данной матрице Л построим размеченный граф состояний:
По этому графу видно (это можно было увидеть и по матрице Л), что данный процесс является процессом гибели и размножения. Финальные вероятности p v p v p v p v р 5 существуют. Найдем их по формуле (11.2) при « = 5. Для этого сначала по формуле (11.3) подсчитаем числа а 2 , а 3 , а 4 , а 5 .
Тогда по формуле в первой строке (11.2)
По формулам во второй строке (11.2):
Таким образом, вероятнее всего (р 3 = 16/39 > р р /=1,2,4, 5) система S будет находиться в состоянии s 3 53 , т.е. цена акции будет находиться в пределах от 1400 до 1600 руб. Поэтому покупать эти акции по цене 1700 руб. не стоит. ?
КРАТКИЕ ВЫВОДЫ
- Процесс гибели и размножения определяется как марковский однородный процесс с непрерывным временем, протекающий в системе S, граф конечного числа состояний которой имеет структуру на рис. 11.1.
- Для процесса гибели и размножения существуют финальные вероятности, которые можно найти из формул (11.2) или (11.1).
КЛЮЧЕВЫЕ СЛОВА И ВЫРАЖЕНИЯ
Марковский процесс с конечным числом состояний; процесс гибели и размножения; процесс гибели и размножения с непрерывным временем; финальные вероятности состояний системы, в которой протекает процесс гибели и размножения; главная диагональ матрицы; наддиагональ матрицы; поддиагональ матрицы.
ВОПРОСЫ ДЛЯ САМОКОНТРОЛЯ
- 1. Дайте определение процесса гибели и размножения.
- 2. Каков характеристический признак структуры графа состояний системы, в которой протекает процесс гибели и размножения?
- 3. Какой вид имеет матрица плотностей вероятностей перехода для процесса гибели и размножения?
- 4. По каким формулам можно подсчитать финальные вероятности для процесса гибели и размножения?
ЗАДАНИЯ К § 11
11.1. Ответить на вопросы в примере 11.1, если матрица плотностей вероятностей переходов имеет вид
ОТВЕТЫ К ЗАДАНИЮ § 11