ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ INFORMATION TECHNOLOGY, COMPUTER SCIENCE, AND MANAGEMENT

О применимости формулы Байеса

DOI 10.12737/16076

А. И. Долгов **

1Акционерное общество «Конструкторское бюро по радиоконтролю систем управления, навигации и связи», г. Ростов-на-Дону, Российская Федерация

On applicability of Bayes" formula*** A. I. Dolgov1**

1«Design bureau on monitoring of control, navigation and communication systems» JSC, Rostov-on-Don, Russian Federation

Предметом данного исследования является формула Байеса. Цель настоящей работы - анализ и расширение области применения формулы. Первоочередной задачей представляется изучение публикаций, посвященных указанной проблеме, позволившее выявить недостатки применения формулы Байе-са, приводящие к некорректным результатам. Следующая задача - построение модификаций формулы Байеса, обеспечивающих учет различных одиночных свидетельств с получением корректных результатов. И, наконец, на примере конкретных исходных данных сравниваются некорректные результаты, получаемые с применением формулы Байеса, и корректные результаты, вычисляемые с помощью предлагаемых модификаций. При проведении исследования использованы два метода. Во-первых, проведен анализ принципов построения известных выражений, применяемых для записи формулы Байеса и ее модификаций. Во-вторых, выполнена сравнительная оценка результатов (в том числе количественная). Предлагаемые модификации обеспечивают более широкое применение формулы Байеса в теории и на практике, в том числе при решении прикладных задач.

Ключевые слова: условные вероятности, несовместные гипотезы, совместимые и несовместимые свидетельства, нормирование.

Bayes" formula is the research subject. The work objective is to analyze the formula application and widen the scope of its applicability. The first-priority problem includes the identification of the Bayes" formula disadvantages based on the study of the relevant publications leading to incorrect results. The next task is to construct the Bayes" formula modifications to provide an accounting of various single indications to obtain correct results. And finally, the incorrect results obtained with the application of Bayes" formula are compared to the correct results calculated with the use of the proposed formula modifications by the example of the specific initial data. Two methods are used in studies. First, the analysis of the principles of constructing the known expressions used to record the Bayesian formula and its modifications is conducted. Secondly, a comparative evaluation of the results (including the quantitative one) is performed. The proposed modifications provide a wider application of Bayes" formula both in theory and practice including the solution of the applied problems.

Keywords: conditional probabilities, inconsistent hypotheses, compatible and incompatible indications, normalizing.

Введение. Формула Байеса находит все более широкое применение в теории и практике , в том числе при решении прикладных задач с помощью вычислительной техники . Использование взаимно независимых вычислительных процедур позволяет особенно эффективно применять данную формулу при решении задач на многопроцессорных вычислительных системах , так как в этом случае параллельная реализация выполняется на уровне общей схемы, и при добавлении очередного алгоритма или класса задач нет необходимости повторно проводить работу по распараллеливанию.

Предметом данного исследования является применимость формулы Байеса для сравнительной оценки апостериорных условных вероятностей несовместных гипотез при различных одиночных свидетельствах. Как показывает анализ, в таких случаях сравниваются нормированные вероятности несовместных комбинированных событий, принадле-

S X <и ч и

IS eö И IS X X <и H

"Работа выполнена в рамках инициативной НИР.

**E-mail: [email protected]

""The research is done within the frame of the independent R&D.

жащих разным полным группам событий . При этом сравниваемые результаты оказываются неадекватными реальным статистическим данным. Это обусловлено следующими факторами:

Используется некорректное нормирование ;

Не принимается во внимание наличие или отсутствие пересечений учитываемых свидетельств.

С целью устранения обнаруженных недостатков выявляются случаи применимости формулы Байеса. Если же указанная формула неприменима, решается задача построения ее модификации, обеспечивающей учет различных одиночных свидетельств с получением корректных результатов. На примере конкретных исходных данных выполнена сравнительная оценка результатов:

Некорректных - получаемых с использованием формулы Байеса;

Корректных - вычисляемых с помощью предлагаемой модификации.

Исходные положения. В основу излагаемых далее утверждений положим принцип сохранения отношений вероятностей: «Корректная обработка вероятностей событий осуществима лишь при нормировании с применением одного общего нормирующего делителя, обеспечивающего равенство отношений нормированных вероятностей отношениям соответствующих им нормируемых вероятностей» . Данный принцип представляет субъективную основу теории вероятностей, однако не отражается должным образом в современной учебной и научно-технической литературе.

При нарушении указанного принципа искажаются сведения о степени возможности рассматриваемых событий. Получаемые на основе искаженных сведений результаты и принимаемые решения оказываются неадекватными реальным статистическим данным.

В предлагаемой статье будут использованы следующие понятия:

Элементарное событие - событие, не делимое на элементы;

Комбинированное событие - событие, представляющее то или иное сочетание элементарных событий;

Совместимые события - события, которые в одних случаях сравнительной оценки их вероятностей могут быть несовместными, а других случаях совместными;

Несовместимые события - события, которые во всех случаях являются несовместными.

Согласно теореме умножения вероятностей, вероятность Р (И ^Е) произведения элементарных событий И ^ и

Е вычисляется в виде произведения вероятностей Р(Ик Е) = Р(Е)Р(И^Е) . В связи с этим формула Байеса часто

записывается в виде Р(Ик\Е) =--- , описывающем определение апостериорных условных вероятностей

Р(И^Е) гипотез Ик (к = 1,...п) на основе нормирования априорных вероятностей Р(И^Е) учитываемых комбинированных несовместимых событий И к Е. Каждое из таких событий представляет произведение, сомножителями которого являются одна из рассматриваемых гипотез и одно учитываемое свидетельство. При этом все рассматривае-

мые события ИкЕ (к = 1,...п) образуют полную группу иИкЕ несовместимых комбинированных событий, в связи

с чем их вероятности Р(Ик Е) должны быть нормированы с учетом формулы полной вероятности , согласно кото-

рой Р(Е) = 2 Р(Ик)Р(Е\Ик). Поэтому формула Байеса чаще всего записывается в наиболее употребляемом виде:

Р(Ик) Р(ЕИк)

Р(Ик\Е) = -. (1)

^ кацией формулы Байеса.

й Анализ особенностей построения формулы Байеса, нацеленного на решение прикладных задач, а также примеры

«и ее практического применения позволяют сделать важный вывод относительно выбора полной группы сравниваемых по степени возможности комбинированных событий (каждое из которых является произведением двух элементарных событий - одной из гипотез и учитываемого свидетельства). Такой выбор осуществляется субъективно лицом, принимающим решение, на основе объективных исходных данных, присущих типовым условиям обстановки: виды и количество оцениваемых гипотез и конкретно учитываемое свидетельство.

Несравниваемые вероятности гипотез при одиночных несовместимых свидетельствах. Формула Байеса традиционно применяется в случае определения не сравниваемых по степени возможности апостериорных условных веро-

ятностей гипотез Н^ при одиночных несовместимых свидетельствах, каждое из которых может «появиться

только в комбинации с какой-либо из этих гипотез» . При этом выбираются полные группы и НкЕ, комбиниро-

ванных событий в виде произведений, сомножителями которых являются одно из свидетельств ц. (1=1,...,т) и одна

из п рассматриваемых гипотез.

Формула Байеса применяется для сравнительной оценки вероятностей комбинированных событий каждой такой полной группы, отличающейся от других полных групп не только учитываемым свидетельством е, но и в общем случае видами гипотез Н ^ и (или) их количеством п (см., например, )

РНкЫ = Р(Нк) Р(еН)

% Р(Нк) Р(Ег\Нк) к = 1

В частном случае при п = 2

РНк\Е,~ Р(Нк) Р(ЕН)

% Р(Нк) Р(Е,\Н к) к = 1

и получаемые результаты являются правильными, ввиду соблюдения принципа сохранения отношений вероятностей:

Р(Н1Е,) _ Р(Н 1)Р(Е,\Н1) / Р(Н2) Р(Е,\Н2) = Р(Н 1) Р(Е,\Н1)

Р(Н 2= % РШ1!) РЕ,\Н0 % ^) РЕ,\Н) " Р(Н 2> 2>"

Субъективность выбора полной группы сравниваемых по степени возможности комбинированных событий (с

теми или иными изменяемыми элементарными событиями) позволяет выбрать полную группу событий и Нк Е ■ с

отрицанием элементарного события Е ■ () и записать формулу Байеса (1 = 1,.. .,т) так:

Р(Нк\Е) -=-РНШ±.

% Р(Нк)Р(Е,Нк)

Такая формула также применима и дает возможность получить правильные результаты, если вычисляемые к

нормированные вероятности сравниваются при различных рассматриваемых гипотезах, но не при различных свиде- ^

тельствах. ¡^

Сравниваемые вероятности гипотез при одиночных несовместимых свидетельствах. Судя по известным публи- ^

няется для сравнительной оценки апостериорных условных вероятностей гипотез при различных одиночных свиде- ^

тельствах. При этом не уделяется внимание следующему факту. В указанных случаях сравниваются нормируемые ^ вероятности несовместных (несовместимых) комбинированных событий, принадлежащих разным полным группам н событий. Однако в данном случае формула Байеса неприменима, так как сравниваются не входящие в одну полную § группу комбинированные события, нормирование вероятностей которых осуществляется с использованием разных л нормирующих делителей. Нормированные вероятности несовместных (несовместимых) комбинированных событий можно сравнивать только в том случае, если они принадлежат одной и той же полной группе событий и нормированы ¡3 с использованием общего делителя, равного сумме вероятностей всех нормируемых событий, входящих в полную §

В общем случае в качестве несовместимых свидетельств могут рассматриваться:

Два свидетельства (например, свидетельство и его отрицание); ^

Три свидетельства (к примеру, в игровой ситуации выигрыш, проигрыш и ничья); ^

Четыре свидетельства (в частности, в спорте выигрыш, проигрыш, ничья и переигровка) и т. д. ^

Рассмотрим довольно простой пример (соответствующий примеру, приведенному в ) применения формулы ^ Байеса для определения апостериорных условных вероятностей гипотезы Н ^ при двух несовместимых событиях в

виде свидетельства Л]- и его отрицания Л]

Р(Н,к) - ^ . ^ Р(А^к» , (2)

] Е Р(Нк> Р(А]\вк> к - 1

■ _ Р(НкА ]) Р(Нк> Р(А ]\нк>

Р(Н,\А,) ----к-]-. (3)

V к\Л]> Р(А > п

] Е Р(Нк) Р(А]\Нк) к -1

В случаях (2) и (3) субъективно выбранными полными группами сравниваемых по степени возможности ком-

бинированных событий являются соответственно множества и Н к А и и Н к А. Это тот случай, когда формула

к-1 к ] к-1 к ]

Байеса неприменима, т. к. нарушен принцип сохранения отношений вероятностей - не соблюдается равенство отношений нормированных вероятностей отношениям соответствующих им нормируемых вероятностей:

Р(Н к А]] Р(Нк) Р(А]\Нк) / Р(Нк) Р(А]\Нк) Р(Нк) Р(А] Нк)

Р(Нк Е Р(Нк) Р(А]\Нк)/ Е Р(Нк) Р(А]\Нк) Р(Нк) Р(А] Нк)

к - 1 /к - 1 Согласно принципу сохранения отношений вероятностей, корректная обработка вероятностей событий осуществима лишь при нормировании с применением одного общего нормирующего делителя, равного сумме всех сравниваемых нормируемых выражений. Поэтому

Е Р(Нк)Р(А]\Нк) + Е Р(Нк)Р(А]\Нк) - Е Р(Нк)[Р(А]\Нк) + Р(Нк) Р(А]\Нк)] - ЕР(Нк) - 1. к -1 к -1 к -1 к -1

Таким образом, обнаруживается тот факт, что существуют разновидности формулы Байеса, отличающиеся от

известных отсутствием нормирующего делителя:

А,) - Р(Н) Р(А]\Нк), Р(Нк А,) - Р(Н) Р(А, Н к). (4)

J к I ■> к

При этом соблюдается равенство отношений нормированных вероятностей отношениям соответствующих им нормируемых вероятностей:

т^А^ Р(Нк) Р(А]\Нк)

А,) Р(Н к) Р(А,Нк)

На основе субъективного выбора нетрадиционно записываемых полных групп несовместных комбинированных событий можно увеличить количество модификаций формулы Байеса, включающих свидетельства, а также то или иное количество их отрицаний. Например, наиболее полной группе комбинированных событий

и и Нк /"./ ^ и и Нк Ё\ соответствует (с учетом отсутствия нормирующего делителя) модификация формула; =1 А"=1 ; =1 лы Байеса

Р(Нк\~) - Р(Н к) ПЁ^^^

где элементарное событие в виде свидетельства Е\ е II II / "/ является одним из элементов указанного множе-

о При отсутствии отрицаний свидетельств, то есть при Ё\ = // е и /"./,

^ Р(Н\Е) Р(Нк) Р(Е,\Нк)

Е Р(Нк) Р(Е\Нк) к - 1

Таким образом, модификация формулы Байеса, предназначенная для определения сравниваемых по степени возможности условных вероятностей гипотез при одиночных несовместимых свидетельствах выглядит следующим образом. В числителе содержится нормируемая вероятность одного из комбинированных несовместных событий, об-110 разующих полную группу, выраженную в виде произведения априорных вероятностей, а в знаменателе - сумма всех

нормируемых вероятностей. При этом соблюдается принцип сохранения отношений вероятностей - и получаемый результат является правильным.

Вероятности гипотез при одиночных совместимых свидетельствах. Формулы Байеса традиционно применяются для определения сравниваемых по степени возможности апостериорных условных вероятностей гипотез Нк (к = 1,...,п) при одном из нескольких рассматриваемых совместимых свидетельств ЕЛ (1 = 1,...,т). В частности (см.,

например, и ), при определении апостериорных условных вероятностей Р(Н 1Е^) и Р(Н 1 Е2) при каждом из двух совместимых свидетельств Е1 и Е2 употребляются формулы вида:

P(H 1) PE\H1) P(Hj) P(E2Hj) P(H J E1) = --1-и P(H J E 2) =--1-. (5)

I P(Hk) PE\Hk) I P(Hk) P(E2 Hk)

k = 1 k = 1 Необходимо учесть, что это еще один случай, когда формула Байеса неприменима. Причем в данном случае должны быть устранены два недостатка:

Проиллюстрированное нормирование вероятностей комбинированных событий некорректно, ввиду принадлежности разным полным группам рассматриваемых событий ;

В символических записях комбинированных событий HkEx и HkE2 не находит отражения тот факт, что учитываемые свидетельства E х и E 2 являются совместимыми.

Для устранения последнего недостатка может быть использована более развернутая запись комбинированных событий с учетом того, что совместимые свидетельства E1 и E2 в одних случаях могут быть несовместными, а в других совместными:

HkE1 = HkE1 E2 и HkE2 = HkE 1E2+HkE1 E2, где E1 и E 2 являются свидетельствами, противоположными E1 и E 2.

Очевидно, что в таких случаях произведение событий Hk E1E2 учитывается дважды. Кроме того, оно может быть учтено еще раз отдельно, однако этого не происходит. Дело в том, что в рассматриваемой ситуации на оцениваемую обстановку влияют три вероятных несовместимых комбинированных события: HkE1E2, HkE 1E2 и

Hk E1E2. При этом для лица, принимающего решение, представляет интерес оценка по степени возможности лишь

двух несовместимых комбинированных событий: HkE1 E2 и HkE 1E2, что соответствует рассмотрению только g

одиночных свидетельств. ¡Ц

Таким образом, при построении модификации формулы Байеса для определения апостериорных условных ве- ¡^

роятностей гипотез при одиночных совместимых свидетельствах необходимо исходить из следующего. Лицо, прини- ^

мающее решение, интересует, какое именно элементарное событие, представленное тем или иным свидетельством из

числа рассматриваемых, реально произошло в конкретных условиях. Если происходит другое элементарное событие в К

виде одиночного свидетельства, требуется пересмотр решения, обусловленного результатами сравнительной оценки н

апостериорных условных вероятностей гипотез с непременным учетом других условий, влияющих на реальную об- щ

становку. 3

Введем следующее обозначение: HkE- для одного (и только одного) несовместимого комбинированного со- ^

бытия, состоящего в том, что из m > 1 рассматриваемых элементарных событий Ei (i = 1,...,m) совместно с гипотезой «

Hk произошло одно элементарное событие Ex и не произошли другие элементарные события. се"

В наиболее простом случае рассматриваются два одиночных несовместимых свидетельства. Если подтвер-

ждается одно из них, условная вероятность свидетельства в общем виде выражается формулой л

P(Hk E-) = P(Ei\Hk) -P(EjE^Hk) = P(Ei\Hk) -P(M^Hk)P(M^Hk) , i = 1, -2 (6) g

В справедливости формулы можно наглядно убедиться (рис. 1).

Рис. 1. Геометрическая интерпретация вычисления Р(Нк Е-) при / = 1,...,2 При условно независимых свидетельствах

Р(К1К2\Нк) = р(Е\Нк)Р(Е2\Нк),

поэтому с учетом (6)

Р(Нк Е-) = РЕ Нк) - Р(Е1 Нк) Р(Е21Нк) , = 1,.,2. (7)

Аналогично вероятность Р(НкЕ-) одного из трех (/ = 1,...,3) несовместимых событий НкЕ^ выражается формулой

Например, при i = 1:

p(HkEl) = P(Ei\Hk)-[ S P(Ei\Hk)P(Ej\Hk) ] + P(EiE2E3Hk)

p(HkE-) = P(E7|Hk)- P(E]E^Hk)- P(E7EjHk) + P(E]E2E3\Hk)

Справедливость данной формулы наглядно подтверждает геометрическая интерпретация, представленная на

Рис. 2. Геометрическая интерпретация вычисления Р(Нк Е-) при / = 1,...,3

Методом математической индукции можно доказать общую формулу для вероятности Р(Нк Е-) при любом количестве свидетельств е, 0=1,...,т):

Р(НкЕ-) = Р(Е,Нк)- т РЕ\Нк) Р(Е]\Нк) + 1 Р(Е\Нк) Р(Е]\Нк) Р(Е^Нк) +■■■ + (-1)

] = 1(] * 0 ],1 * 1

Используя теорему умножения вероятностей, запишем условную вероятность Р(НкЕ~-) в двух формах:

^ из которых следует, что

P(Hk E -) = P(H k) P(E-|Hk) = P(E-) P(Hk

E-)= P(HkE-) "" P(E-)

С использованием формулы полной вероятности P(Ei) = S P(H£) P(Ei Hk) получается, что

Е-) = Р(НкЕТ)

2 Р(НкЕ-) к = 1

Подставив в полученную формулу выражения для Р(НкЕ-) в виде правой части (8), получим окончательный вид формулы для определения апостериорных условных вероятностей гипотез Н^ (к = 1,.. .,п) при одном из нескольких рассматриваемых несовместимых одиночных свидетельств: (Е ^ \Нк)

Р(Нк)[Р(Е,\Нк) - 2 Р(Е,\Нк) Р(Ер к) +...+ (-1)т-1 Р(П Р(Ерк)] Р(Н, Е~) =-] = 1(] * ■----(9)

к 1 п т т т

2 Р(Н к) 2 [Р(Е,\Н к) - 2 Р(ЕгНк) Р(Е^Нк) + ...+ (-1)т-1 Р(П Р (Ер к)]

к=1 , = 1 } = 1(} *,) ■! =1

Сравнительные оценки. Рассматриваются довольно простые, но наглядные примеры, ограничивающиеся анализом вычисляемых апостериорных условных вероятностей одной из двух гипотез при двух одиночных свидетельствах. 1. Вероятности гипотез при несовместимых одиночных свидетельствах. Сравним результаты, получаемые с применением формул Байеса (2) и (3), на примере двух свидетельств Л. = Л и Л. = Л при исходных данных:

Р(Н1 = 0,7; Р(Н2) = 0,3; Р(Л| Н^ = 0,1; Р(Л\н 1) = 0,9; Р(Л\Н2) = 0,6; Р(Л\Н2) = 0,4. В рассматриваемых примерах с гипотезой Н1 традиционные формулы (2) и (3) приводят к следующим результатам:

Р(Н.) Р(А\Но 0 07

Р(Н, Л) =-- 11 = - = 0,28,

2 Р(Н к) Р(А\Нк) к = 1

Р(Н Л Р(А\Н 1) 0 63

Р(Н, Л) =-- 11 = - = 0,84,

2 Р(Нк) Р(А\Нк) к = 1

ормирующих делит Р(Н 1 Л) = Р(Н^ Р(Л\Нр = 0,07; Р(Н^ А) = Р(Н1) Р(л|Н^ = 0,63. 1ения предлагаемых формул отно:

Р<Н)Р(АНА-Р(А|Н1) _ 0,07

а при предлагаемых формулах (4), не имеющих нормирующих делителей: «и

Таким образом, в случае применения предлагаемых формул отношение нормируемых вероятностей равно от- й ношению нормированных вероятностей: К

гт ж Р(Н 1) Р(А\Н 1) А11 |

При использовании известных формул при таком же отношении -;-=-= 0,11 нормируемых веро- н

Р(Н 1) Р(А\Н 1) «§

ятностей, указанных в числителях, отношение получаемых нормированных вероятностей: 2

Р(Н 1) Р(А\Н 1) Р(А\Н 1) 0,63

Р(Н1 Л) = 0,28 Р(Н 1 Л) = 0,84

То есть принцип сохранения отношений вероятностей не соблюдается, и получаются неверные результаты. При этом £

в случае применения известных формул значение относительного отклонения отношения (11) апостериорных услов- и ных вероятностей гипотез от корректных результатов (10) оказывается весьма существенным, так как составляет

°,33 - °,П х 100 = 242%.. I

2. Вероятности гипотез при совместимых одиночных свидетельствах. Сравним результаты, получаемые с приме- д нением формул Байеса (5) и построенной корректной модификации (9), используя следующие исходные данные: ^

Р(Н1 = 0,7; Р(Н2) = 0,3; Р(Е1Н1) = 0,4; Р(Е2Н1) = 0,8; Р(Е1\Н2) = 0,7; Р(Е^Н2) = 0,2. 113

В рассматриваемых примерах с гипотезой H 2 в случае использования традиционных формул (5):

P(H 2) P(E1 H 2) Q, 21

P(H 2 E1) =-2-!-2- = - = Q,429,

I p(Hk) p(El Hk) k = 1

P(H 2) P(E 2 H 2) Q,Q6

P(H 2 E 2) =-2-- = - = 0,097.

I P(Hk) P(E 2 Hk) k = 1

В случае же применения предлагаемой формулы (9) с учетом (7) P(H

P(H2) 0,168

E.) ----- 0,291,

Z P(Hk) Z "

P(H2) 0,018

E0) ----- 0,031.

Z P(Hk) Z k - 1 i - 1

При использовании предлагаемых корректных формул, ввиду одинаковых знаменателей, отношение P(H2) -

Нормируемых вероятностей, указываемых в числителях, равно отношению

P(H2)

нормированных вероятностей:

То есть принцип сохранения отношений вероятностей соблюдается.

Однако в случае применения известных формул при отношении указанных в числителях нормируемых вероятностей

Р(Н 2) Р(Е1\Н 2) _ 0,21 _3 5 Р(Н 2)Р(Е 2 Н 2) 0,06 ,

отношение нормированных вероятностей:

Р(Н 2 = 0.429 = 4,423. (13)

Р(Н 2 \е2) 0,097

То есть принцип сохранения отношений вероятностей, как и прежде, не соблюдается. При этом в случае применения известных формул значение относительного отклонения отношения (13) апостериорных условных вероятностей гипотез от корректных результатов (12) также оказывается весьма существенным:

9,387 4,423 х 100 = 52,9%.

Заключение. Анализ построения конкретных формульных соотношений, реализующих формулу Байеса и ее модификации, предлагаемые для решения практических задач, позволяют утверждать следующее. Полная группа сравнивае-2 мых по степени возможности комбинированных событий может выбираться субъективно лицом, принимающим решение. Данный выбор основывается на учитываемых объективных исходных данных, характерных для типовой об-й становки (конкретные виды и количество элементарных событий - оцениваемых гипотез и свидетельств). Представ--о ляет практический интерес субъективный выбор других вариантов полной группы сравниваемых по степени возмож-

ности комбинированных событий - таким образом обеспечивается существенное разнообразие формульных соотношений при построении нетрадиционных вариантов модификаций формулы Байеса. На этом, в свою очередь, может ^ основываться совершенствование математического обеспечения программной реализации, а также расширение области применения новых формульных соотношений для решения прикладных задач.

Библиографический список

1. Gnedenko, B. V. An elementary introduction to the theory of probability / B. V. Gnedenko, A. Ya. Khinchin. - 114 New York: Dover Publications, 1962. - 144 р.

2. Вентцель, Е. С. Теория вероятностей / Е. С. Вентцель. - 10-е изд., стер. - Москва: Высшая школа, 2006. - 575 с.

3. Андронов. А. М., Теория вероятностей и математическая статистика / А. М. Андронов, Е. А. Копытов, Л. Я. Гринглаз. - Санкт-Петербург: Питер, 2004. - 481 с.

4. Змитрович, А. И. Интеллектуальные информационные системы / А. И. Змитрович. - Минск: ТетраСи-стемс, 1997. - 496 с.

5. Черноруцкий, И. Г. Методы принятия решений / И. Г. Черноруцкий. - Санкт-Петербург: БХВ-Петербург, 2005. - 416 с.

6. Naylor, C.-M. Build Your Own Expert System / C.-M. Naylor. - Chichester: John Wiley & Sons, 1987. - 289 p.

7. Романов, В. П. Интеллектуальные информационные системы в экономике / В. П. Романов. - 2-е изд., стер.

Москва: Экзамен, 2007. - 496 с.

8. Экономическая эффективность и конкурентоспособность / Д. Ю. Муромцев [и др.]. - Тамбов: Изд-во Тамб. гос. техн. ун-та, 2007.- 96 с.

9. Долгов, А. И. Корректные модификации формулы Байеса для параллельного программирования / А. И. Долгов // Суперкомпьютерные технологии: мат-лы 3-й всерос. науч-техн. конф. - Ростов-на-Дону. - 2014.- Т. 1 - С. 122-126.

10. Долгов, А. И. О корректности модификаций формулы Байеса / А. И. Долгов // Вестник Дон. гос. техн. ун-та.

2014. - Т. 14, № 3 (78). - С. 13-20.

1. Gnedenko, B.V., Khinchin, A.Ya. An elementary introduction to the theory of probability. New York: Dover Publications, 1962, 144 р.

2. Ventsel, E.S. Teoriya veroyatnostey. 10th ed., reimpr. Moscow: Vysshaya shkola, 2006, 575 p. (in Russian).

3. Andronov, А.М., Kopytov, E.A., Gringlaz, L.Y. Teoriya veroyatnostey i matematicheskaya statistika. St.Petersburg: Piter, 2004, 481 p. (in Russian).

4. Zmitrovich, А.1. Intellektual"nye informatsionnye sistemy. Minsk: TetraSistems, 1997, 496 p. (in Russian).

5. Chernorutskiy, I.G. Metody prinyatiya resheniy. St.Petersburg: BKhV-Peterburg, 2005, 416 p. (in Russian).

6. Naylor, C.-M. Build Your Own Expert System. Chichester: John Wiley & Sons, 1987, 289 p.

7. Romanov, V.P. Intellektual"nye informatsionnye sistemy v ekonomike. 2nd ed., reimpr. Moscow: Ekzamen, 2007, 496 p. (in Russian).

8. Muromtsev, D.Y., et al. Ekonomicheskaya effektivnost" i konkurentosposobnost". Tambov: Izd-vo Tamb. gos. tekhn. un-ta, 2007, 96 p. (in Russian). IB

9. Dolgov, А1. Korrektnye modifikatsii formuly Bayesa dlya parallel"nogo programmirovaniya. Superkomp"yuternye tekhnologii: mat-ly 3-y vseros. nauch-tekhn. konf. Rostov-on-Don, 2014, vol. 1, pp. 122-126 (in Russian). ^

10. Dolgov, А1. O korrektnosti modifikatsiy formuly Bayesa. ^ Vestnik of DSTU, 2014, vol. 14, no. 3 (78), pp. 13-20 (in Russian). *

Формула Байеса :

Вероятности P(H i) гипотез H i называют априорными вероятностями - вероятности до проведения опытов.
Вероятности P(A/H i) называют апостериорными вероятностями – вероятности гипотез H i , уточненных в результате опыта.

Пример №1 . Прибор может собираться из высококачественных деталей и из деталей обычного качества. Около 40% приборов собираются из высококачественных деталей. Если прибор собран из высококачественных деталей, его надежность (вероятность безотказной работы) за время t равна 0,95; если из деталей обычного качества - его надежность равна 0,7. Прибор испытывался в течение времени t и работал безотказно. Найдите вероятность того, что он собран из высококачественных деталей.
Решение. Возможны две гипотезы: H 1 - прибор собран из высококачественных деталей; H 2 - прибор собран из деталей обычного качества. Вероятности этих гипотез до опыта: P(H 1) = 0,4, P(H 2) = 0,6. В результате опыта наблюдалось событие A - прибор безотказно работал время t. Условные вероятности этого события при гипотезах H 1 и H 2 равны: P(A|H 1) = 0,95; P(A|H 2) = 0,7. По формуле (12) находим вероятность гипотезы H 1 после опыта:

Пример №2 . Два стрелка независимо один от другого стреляют по одной мишени, делая каждый по одному выстрелу. Вероятность попадания в мишень для первого стрелка 0,8, для второго 0,4. После стрельбы в мишени обнаружена одна пробоина. Предполагая, что два стрелка не могут попасть в одну и ту же точку, найдите вероятность того, что в мишень попал первый стрелок.
Решение. Пусть событие A - после стрельбы в мишени обнаружена одна пробоина. До начала стрельбы возможны гипотезы:
H 1 - ни первый, ни второй стрелок не попадет, вероятность этой гипотезы: P(H 1) = 0,2 · 0,6 = 0,12.
H 2 - оба стрелка попадут, P(H 2) = 0,8 · 0,4 = 0,32.
H 3 - первый стрелок попадет, а второй не попадет, P(H 3) = 0,8 · 0,6 = 0,48.
H 4 - первый стрелок не попадет, а второй попадет, P (H 4) = 0,2 · 0,4 = 0,08.
Условные вероятности события A при этих гипотезах равны:

После опыта гипотезы H 1 и H 2 становятся невозможными, а вероятности гипотез H 3 и H 4
будут равны:

Итак, вероятнее всего, что мишень поражена первым стрелком.

Пример №3 . В монтажном цехе к устройству присоединяется электродвигатель. Электродвигатели поставляются тремя заводами-изготовителями. На складе имеются электродвигатели названных заводов соответственно в количестве 19,6 и 11 шт., которые могут безотказно работать до конца гарантийного срока соответственно с вероятностями 0,85, 0,76 и 0,71. Рабочий берет случайно один двигатель и монтирует его к устройству. Найдите вероятность того, что смонтированный и работающий безотказно до конца гарантийного срока электродвигатель поставлен соответственно первым, вторым или третьим заводом-изготовителем.
Решение. Первым испытанием является выбор электродвигателя, вторым - работа электродвигателя во время гарантийного срока. Рассмотрим следующие события:
A - электродвигатель работает безотказно до конца гарантийного срока;
H 1 - монтер возьмет двигатель из продукции первого завода;
H 2 - монтер возьмет двигатель из продукции второго завода;
H 3 - монтер возьмет двигатель из продукции третьего завода.
Вероятность события A вычисляем по формуле полной вероятности:

Условные вероятности заданы в условии задачи:

Найдем вероятности

По формулам Бейеса (12) вычисляем условные вероятности гипотез H i:

Пример №4 . Вероятности того, что во время работы системы, которая состоит из трех элементов, откажут элементы с номерами 1, 2 и 3, относятся как 3: 2: 5. Вероятности выявления отказов этих элементов равны соответственно 0,95; 0,9 и 0,6.

б) В условиях данной задачи во время работы системы обнаружен отказ. Какой из элементов вероятнее всего отказал?

Решение.
Пусть А - событие отказа. Введем систему гипотез H1 - отказ первого элемента, H2 - отказ второго элемента, H3 - отказ третьего элемента.
Находим вероятности гипотез:
P(H1) = 3/(3+2+5) = 0.3
P(H2) = 2/(3+2+5) = 0.2
P(H3) = 5/(3+2+5) = 0.5

Согласно условию задачи условные вероятности события А равны:
P(A|H1) = 0.95, P(A|H2) = 0.9, P(A|H3) = 0.6

а) Найдите вероятность обнаружения отказа в работе системы.
P(A) = P(H1)*P(A|H1) + P(H2)*P(A|H2) + P(H3)*P(A|H3) = 0.3*0.95 + 0.2*0.9 + 0.5*0.6 = 0.765

б) В условиях данной задачи во время работы системы обнаружен отказ. Какой из элементов вероятнее всего отказал?
P1 = P(H1)*P(A|H1)/ P(A) = 0.3*0.95 / 0.765 = 0.373
P2 = P(H2)*P(A|H2)/ P(A) = 0.2*0.9 / 0.765 = 0.235
P3 = P(H3)*P(A|H3)/ P(A) = 0.5*0.6 / 0.765 = 0.392

Максимальная вероятность у третьего элемента.

Сибирский государственный университет телекоммуникаций и информатики

Кафедра высшей математики

по дисциплине: «Теория вероятностей и математическая статистика»

«Формула полной вероятности и формула Бейеса(Байеса) и их применение»

Выполнил:

Руководитель: профессор Б.П.Зеленцов

Новосибирск, 2010

Введение 3

1. Формула полной вероятности 4-5

2. Формула Байеса(Бейеса) 5-6

3. Задачи с решениями 7-11

4. Основные сферы применения формулы Байеса(Бейеса) 11

Заключение 12

Литература 13

Введение

Теория вероятностей является одним из классических разделов математики. Она имеет длительную историю. Основы этого раздела науки были заложены великими математиками. Назову, например, Ферма, Бернулли, Паскаля.
Позднее развитие теории вероятностей определились в работах многих ученых.
Большой вклад в теорию вероятностей внесли ученые нашей страны:
П.Л.Чебышев, А.М.Ляпунов, А.А.Марков, А.Н.Колмогоров. Вероятностные и статистические методы в настоящее время глубоко проникли в приложения. Они используются в физике, технике, экономке, биологии и медицине. Особенно возросла их роль в связи с развитием вычислительной техники.

Например, для изучения физических явлений производят наблюдения или опыты. Их результаты обычно регистрируют в виде значений некоторых наблюдаемых величин. При повторении опытов мы обнаруживаем разброс их результатов. Например, повторяя измерения одной и той же величины одним и тем же прибором при сохранении определенных условий (температура, влажность и т.п.), мы получаем результаты, которые хоть немного, но все же отличаются друг от друга. Даже многократные измерения не дают возможности точно предсказать результат следующего измерения. В этом смысле говорят, что результат измерения есть величина случайная. Еще более наглядным примером случайной величины может служить номер выигрышного билета в лотерее. Можно привести много других примеров случайных величин. Все же и в мире случайностей обнаруживаются определенные закономерности. Математический аппарат для изучения таких закономерностей и дает теория вероятностей.
Таким образом, теория вероятностей занимается математическим анализом случайных событий и связанных с ними случайных величин.

1. Формула полной вероятности.

Пусть имеется группа событий H 1 , H 2 ,..., H n , обладающая следую­щими свойствами:

1) все события попарно несовместны: H i

H j =Æ; i , j =1,2,...,n ; i ¹ j ;

2) их объединение образует пространство элементарных исходов W:

.

Рис.8

В этом случае будем говорить, что H 1 , H 2 ,...,H n образуют полную группу событий . Такие события иногда называют гипотезами .

Пусть А – некоторое событие: А ÌW (диаграмма Венна представлена на рисунке 8). Тогда имеет место формула полной вероятности:

P (A ) = P (A /H 1)P (H 1) + P (A /H 2)P (H 2) + ...+P (A /H n )P (H n ) =

Доказательство. Очевидно: A =

, причем все события (i = 1,2,...,n ) попарно несовместны. Отсюда по теореме сложения вероятностей получаем

P (A ) = P (

) + P () +...+ P (

Если учесть, что по теореме умножения P (

) = P (A/H i)P (H i) (i = 1,2,...,n ), то из последней формулы легко получить приведенную выше формулу полной вероятности.

Пример . В магазине продаются электролампы производства трех заводов, причем доля первого завода - 30%, второго - 50%, третьего - 20%. Брак в их продукции составляет соответственно 5%, 3% и 2%. Какова вероятность того, что случайно выбранная в магазине лампа оказалась бракованной.

Пусть событие H 1 состоит в том, что выбранная лампа произведена на первом заводе, H 2 на втором, H 3 - на третьем заводе. Очевидно:

P (H 1) = 3/10, P (H 2) = 5/10, P (H 3) = 2/10.

Пусть событие А состоит в том, что выбранная лампа оказалась бракованной; A/H i означает событие, состоящее в том, что выбрана бракованная лампа из ламп, произведенных на i -ом заводе. Из условия задачи следует:

P (A / H 1) = 5/10; P (A / H 2) = 3/10; P (A / H 3) = 2/10

По формуле полной вероятности получаем

2. Формула Байеса(Бейеса)

Пусть H 1 ,H 2 ,...,H n - полная группа событий и А Ì W – некоторое событие. Тогда по формуле для условной вероятности

(1)

Здесь P (H k /A ) – условная вероятность события (гипотезы) H k или вероятность того, что H k реализуется при условии, что событие А произошло.

По теореме умножения вероятностей числитель формулы (1) можно представить в виде

P = P = P (A /H k )P (H k )

Для представления знаменателя формулы (1) можно использовать формулу полной вероятности

P (A )

Теперь из (1) можно получить формулу, называемую формулой Байеса :

По формуле Байеса исчисляется вероятность реализации гипотезы H k при условии, что событие А произошло. Формулу Байеса еще называют формулой вероятности гипотез. Вероятность P (H k ) называют априорной вероятностью гипотезы H k , а вероятность P (H k /A ) – апостериорной вероятностью.

Теорема. Вероятность гипотезы после испытания равна произведению вероятности гипотезы до испытания на соответствующую ей условную вероятность события, которое произошло при испытании, деленному на полную вероятность этого события.

Пример. Рассмотрим приведенную выше задачу об электролампах, только изменим вопрос задачи. Пусть покупатель купил электролампу в этом магазине, и она оказалась бракованной. Найти вероятность того, что эта лампа изготовлена на втором заводе. Величина P (H 2) = 0,5 в данном случае это априорная вероятность события, состоящего в том, что купленная лампа изготовлена на втором заводе. Получив информацию о том, что купленная лампа бракованная, мы можем поправить нашу оценку возможности изготовления этой лампы на втором заводе, вычислив апостериорную вероятность этого события.

Пусть известны их вероятности и соответствующие условные вероятности . Тогда вероятность наступления события равна:

Эта формула получила название формулы полной вероятности . В учебниках она формулируется теоремой, доказательство которой элементарно: согласно алгебре событий , (произошло событие и или произошло событие и после него наступило событие или произошло событие и после него наступило событие или …. или произошло событие и после него наступило событие ) . Поскольку гипотезы несовместны, а событие – зависимо, то по теореме сложения вероятностей несовместных событий (первый шаг) и теореме умножения вероятностей зависимых событий (второй шаг) :

Наверное, многие предчувствуют содержание первого примера =)

Куда ни плюнь – везде урна:

Задача 1

Имеются три одинаковые урны. В первой урне находятся 4 белых и 7 черных шаров, во второй – только белые и в третьей – только черные шары. Наудачу выбирается одна урна и из неё наугад извлекается шар. Какова вероятность того, что этот шар чёрный?

Решение : рассмотрим событие – из наугад выбранной урны будет извлечён чёрный шар. Данное событие может произойти в результате осуществления одной из следующих гипотез:
– будет выбрана 1-я урна;
– будет выбрана 2-я урна;
– будет выбрана 3-я урна.

Так как урна выбирается наугад, то выбор любой из трёх урн равновозможен , следовательно:

Обратите внимание, что перечисленные гипотезы образуют полную группу событий , то есть по условию чёрный шар может появиться только из этих урн, а например, не прилететь с бильярдного стола. Проведём простую промежуточную проверку:
, ОК, едем дальше:

В первой урне 4 белых + 7 черных = 11 шаров, по классическому определению :
– вероятность извлечения чёрного шара при условии , что будет выбрана 1-я урна.

Во второй урне только белые шары, поэтому в случае её выбора появления чёрного шара становится невозможным : .

И, наконец, в третьей урне одни чёрные шары, а значит, соответствующая условная вероятность извлечения чёрного шара составит (событие достоверно) .

– вероятность того, что из наугад выбранной урны будет извлечен чёрный шар.

Ответ :

Разобранный пример снова наводит на мысль о том, как важно ВНИКАТЬ В УСЛОВИЕ. Возьмём те же задачи с урнами и шарами – при их внешней схожести способы решения могут быть совершенно разными: где-то требуется применить только классическое определение вероятности , где-то события независимы , где-то зависимы , а где-то речь о гипотезах. При этом не существует чёткого формального критерия для выбора пути решения – над ним почти всегда нужно думать. Как повысить свою квалификацию? Решаем, решаем и ещё раз решаем!

Задача 2

В тире имеются 5 различных по точности боя винтовок. Вероятности попада­ния в мишень для данного стрелка соответственно равны 0,5; 0,55; 0,7; 0,75 и 0,4. Чему равна вероятность попадания в мишень, если стрелок делает один выстрел из слу­чайно выбранной винтовки?

Краткое решение и ответ в конце урока.

В большинстве тематических задач гипотезы, конечно же, не равновероятны:

Задача 3

В пирамиде 5 винтовок, три из которых снабжены оптическим прицелом. Вероятность того, что стрелок поразит мишень при выстреле из винтовки с оптическим прицелом, равна 0,95; для винтовки без оптического прицела эта вероятность равна 0,7. Найти вероятность того, что мишень будет поражена, если стрелок производит один выстрел из наудачу взятой винтовки.

Решение : в этой задаче количество винтовок точно такое же, как и в предыдущей, но вот гипотезы всего две:
– стрелок выберет винтовку с оптическим прицелом;
– стрелок выберет винтовку без оптического прицела.
По классическому определению вероятности : .
Контроль:

Рассмотрим событие: – стрелок поразит мишень из наугад взятой винтовки.
По условию: .

По формуле полной вероятности:

Ответ : 0,85

На практике вполне допустим укороченный способ оформления задачи, который вам тоже хорошо знаком:

Решение : по классическому определению: – вероятности выбора винтовки с оптическим и без оптического прицела соответственно.

По условию, – вероятности попадания в мишень из соответствующих типов винтовок.

По формуле полной вероятности:
– вероятность того, что стрелок поразит мишень из наугад выбранной винтовки.

Ответ : 0,85

Следующая задача для самостоятельного решения:

Задача 4

Двигатель работает в трёх режимах: нормальном, форсированном и на холостом ходу. В режиме холостого хода вероятность его выхода из строя равна 0,05, при нормальном режиме работы – 0,1, а при форсированном – 0,7. 70% времени двигатель работает в нормальном режиме, а 20% – в форсированном. Какова вероятность выхода из строя двигателя во время работы?

На всякий случай напомню – чтобы получить значения вероятностей проценты нужно разделить на 100. Будьте очень внимательны! По моим наблюдениям, условия задач на формулу полной вероятности частенько пытаются подзапутать; и я специально подобрал такой пример. Скажу по секрету – сам чуть не запутался =)

Решение в конце урока (оформлено коротким способом)

Задачи на формулы Байеса

Материал тесно связан с содержанием предыдущего параграфа. Пусть событие наступило в результате осуществления одной из гипотез . Как определить вероятность того, что имела место та или иная гипотеза?

При условии , что событие уже произошло , вероятности гипотез переоцениваются по формулам, которые получили фамилию английского священника Томаса Байеса:

– вероятность того, что имела место гипотеза ;
– вероятность того, что имела место гипотеза ;
…
– вероятность того, что имела место гипотеза .

На первый взгляд кажется полной нелепицей – зачем пересчитывать вероятности гипотез, если они и так известны? Но на самом деле разница есть:

– это априорные (оцененные до испытания) вероятности.

– это апостериорные (оцененные после испытания) вероятности тех же гипотез, пересчитанные в связи «со вновь открывшимися обстоятельствами » – с учётом того факта, что событие достоверно произошло .

Рассмотрим это различие на конкретном примере:

Задача 5

На склад поступило 2 партии изделий: первая – 4000 штук, вторая – 6000 штук. Средний процент нестандартных изделий в первой партии составляет 20%, а во второй – 10%. Наудачу взятое со склада изделие оказалось стандартным. Найти вероятность того, что оно: а) из первой партии, б) из второй партии.

Первая часть решения состоит в использовании формулы полной вероятности. Иными словами, вычисления проводятся в предположении, что испытание ещё не произведено и событие «изделие оказалось стандартным» пока не наступило.

Рассмотрим две гипотезы:
– наудачу взятое изделие будет из 1-й партии;
– наудачу взятое изделие будет из 2-й партии.

Всего: 4000 + 6000 = 10000 изделий на складе. По классическому определению :
.

Контроль:

Рассмотрим зависимое событие: – наудачу взятое со склада изделие будет стандартным.

В первой партии 100% – 20% = 80% стандартных изделий, поэтому: при условии , что оно принадлежит 1-й партии.

Аналогично, во второй партии 100% – 10% = 90% стандартных изделий и – вероятность того, что наудачу взятое на складе изделие будет стандартным при условии , что оно принадлежит 2-й партии.

По формуле полной вероятности:
– вероятность того, что наудачу взятое на складе изделие будет стандартным.

Часть вторая. Пусть наудачу взятое со склада изделие оказалось стандартным. Эта фраза прямо прописана в условии, и она констатирует тот факт, что событие произошло .

По формулам Байеса:

а) – вероятность того, что выбранное стандартное изделие принадлежит 1-й партии;

б) – вероятность того, что выбранное стандартное изделие принадлежит 2-й партии.

После переоценки гипотезы , разумеется, по-прежнему образуют полную группу :
(проверка;-))

Ответ :

Понять смысл переоценки гипотез нам поможет Иван Васильевич, которой снова сменил профессию и стал директором завода. Он знает, что сегодня 1-й цех отгрузил на склад 4000, а 2-й цех – 6000 изделий, и приходит удостовериться в этом. Предположим, вся продукция однотипна и находится в одном контейнере. Естественно, Иван Васильевич предварительно подсчитал, что изделие, которое он сейчас извлечёт для проверки, с вероятностью будет выпущено 1-м цехом и с вероятностью – вторым. Но после того как выбранное изделие оказывается стандартным, он восклицает: «Какой же классный болт! – его скорее выпустил 2-й цех». Таким образом, вероятность второй гипотезы переоценивается в лучшую сторону , а вероятность первой гипотезы занижается: . И эта переоценка небезосновательна – ведь 2-й цех произвёл не только больше изделий, но и работает в 2 раза лучше!

Вы скажете, чистый субъективизм? Отчасти – да, более того, сам Байес интерпретировал апостериорные вероятности как уровень доверия . Однако не всё так просто – в байесовском подходе есть и объективное зерно. Ведь вероятности того, что изделие будет стандартным (0,8 и 0,9 для 1-го и 2-го цехов соответственно) это предварительные (априорные) и средние оценки. Но, выражаясь философски – всё течёт, всё меняется, и вероятности в том числе. Вполне возможно, что на момент исследования более успешный 2-й цех повысил процент выпуска стандартных изделий (и/или 1-й цех снизил) , и если проверить бОльшее количество либо все 10 тысяч изделий на складе, то переоцененные значения окажутся гораздо ближе к истине.

Кстати, если Иван Васильевич извлечёт нестандартную деталь, то наоборот – он будет больше «подозревать» 1-й цех и меньше – второй. Предлагаю убедиться в этом самостоятельно:

Задача 6

На склад поступило 2 партии изделий: первая – 4000 штук, вторая – 6000 штук. Средний процент нестандартных изделий в первой партии 20%, во второй – 10%. Наудачу взятое со склада изделие оказалось не стандартным. Найти вероятность того, что оно: а) из первой партии, б) из второй партии.

Условие отличатся двумя буквами, которые я выделил жирным шрифтом. Задачу можно решить с «чистого листа», или воспользоваться результатами предыдущих вычислений. В образце я провёл полное решение, но чтобы не возникло формальной накладки с Задачей №5, событие «наудачу взятое со склада изделие будет нестандартным» обозначено через .

Байесовская схема переоценки вероятностей встречается повсеместно, причём её активно эксплуатируют и различного рода мошенники. Рассмотрим ставшее нарицательным АО на три буквы, которое привлекает вклады населения, якобы куда-то их инвестирует, исправно выплачивает дивиденды и т.д. Что происходит? Проходит день за днём, месяц за месяцем и всё новые и новые факты, донесённые путём рекламы и «сарафанным радио», только повышают уровень доверия к финансовой пирамиде (апостериорная байесовская переоценка в связи с произошедшими событиями!) . То есть, в глазах вкладчиков происходит постоянное увеличение вероятности того, что «это серьёзная контора» ; при этом вероятность противоположной гипотезы («это очередные кидалы») , само собой, уменьшается и уменьшается. Дальнейшее, думаю, понятно. Примечательно, что заработанная репутация даёт организаторам время успешно скрыться от Ивана Васильевича, который остался не только без партии болтов, но и без штанов.

К не менее любопытным примерам мы вернёмся чуть позже, а пока на очереди, пожалуй, самый распространенный случай с тремя гипотезами:

Задача 7

Электролампы изготавливаются на трех заводах. 1-й завод производит 30% общего количества ламп, 2-й – 55%, а 3-й – остальную часть. Продукция 1-го завода содержит 1% бракованных ламп, 2-го – 1,5%, 3-го – 2%. В магазин поступает продукция всех трех заводов. Купленная лампа оказалась с браком. Какова вероятность того, что она произведена 2-м заводом?

Заметьте, что в задачах на формулы Байеса в условии обязательно фигурирует некое произошедшее событие, в данном случае – покупка лампы.

Событий прибавилось, и решение удобнее оформить в «быстром» стиле.

Алгоритм точно такой же: на первом шаге находим вероятность того, что купленная лампа вообще окажется бракованной.

Пользуясь исходными данными, переводим проценты в вероятности:
– вероятности того, что лампа произведена 1-м, 2-м и 3-м заводами соответственно.
Контроль:

Аналогично: – вероятности изготовления бракованной лампы для соответствующих заводов.

По формуле полной вероятности:

– вероятность того, что купленная лампа окажется с браком.

Шаг второй. Пусть купленная лампа оказалась бракованной (событие произошло)

По формуле Байеса:
– вероятность того, что купленная бракованная лампа изготовлена вторым заводом

Ответ :

Почему изначальная вероятность 2-й гипотезы после переоценки увеличилась ? Ведь второй завод производит средние по качеству лампы (первый – лучше, третий – хуже). Так почему же возросла апостериорная вероятность, что бракованная лампа именно со 2-го завода? Это объясняется уже не «репутацией», а размером. Так как завод №2 выпустил самое большое количество ламп, то на него (по меньшей мере, субъективно) и пеняют: «скорее всего, эта бракованная лампа именно оттуда» .

Интересно заметить, что вероятности 1-й и 3-й гипотез, переоценились в ожидаемых направлениях и сравнялись:

Контроль: , что и требовалось проверить.

К слову, о заниженных и завышенных оценках:

Задача 8

В студенческой группе 3 человека имеют высокий уровень подготовки, 19 человек – средний и 3 – низкий. Вероятности успешной сдачи экзамена для данных студентов соответственно равны: 0,95; 0,7 и 0,4. Известно, что некоторый студент сдал экзамен. Какова вероятность того, что:

а) он был подготовлен очень хорошо;
б) был подготовлен средне;
в) был подготовлен плохо.

Проведите вычисления и проанализируйте результаты переоценки гипотез.

Задача приближена к реальности и особенно правдоподобна для группы студентов-заочников, где преподаватель практически не знает способностей того или иного студента. При этом результат может послужить причиной довольно-таки неожиданных последствий (особенно это касается экзаменов в 1-м семестре) . Если плохо подготовленному студенту посчастливилось с билетом, то преподаватель с большой вероятностью сочтёт его хорошо успевающим или даже сильным студентом, что принесёт неплохие дивиденды в будущем (естественно, нужно «поднимать планку» и поддерживать свой имидж) . Если же студент 7 дней и 7 ночей учил, зубрил, повторял, но ему просто не повезло, то дальнейшие события могут развиваться в самом скверном ключе – с многочисленными пересдачами и балансировкой на грани вылета.

Что и говорить, репутация – это важнейший капитал, не случайно многие корпорации носят имена-фамилии своих отцов-основателей, которые руководили делом 100-200 лет назад и прославились своей безупречной репутацией.

Да, байесовский подход в известной степени субъективен, но… так устроена жизнь!

Закрепим материал заключительным индустриальным примером, в котором я расскажу о до сих пор не встречавшихся технических тонкостях решения:

Задача 9

Три цеха завода производят однотипные детали, которые поступают на сборку в общий контейнер. Известно, что первый цех производит в 2 раза больше деталей, чем второй цех, и в 4 раза больше третьего цеха. В первом цехе брак составляет 12%, во втором – 8%, в третьем – 4%. Для контроля из контейнера берется одна деталь. Какова вероятность того, что она окажется бракованной? Какова вероятность того, что извлечённую бракованную деталь выпустил 3-й цех?

Таки Иван Васильевич снова на коне =) Должен же быть у фильма счастливый конец =)

Решение : в отличие от Задач №№5-8 здесь в явном виде задан вопрос, который разрешается с помощью формулы полной вероятности. Но с другой стороны, условие немного «зашифровано», и разгадать этот ребус нам поможет школьный навык составлять простейшие уравнения. За «икс» удобно принять наименьшее значение:

Пусть – доля деталей, выпускаемая третьим цехом.

По условию, первый цех производит в 4 раза больше третьего цеха, поэтому доля 1-го цеха составляет .

Кроме того, первый цех производит изделий в 2 раза больше, чем второй цех, а значит, доля последнего: .

Составим и решим уравнение:

Таким образом: – вероятности того, что извлечённая из контейнера деталь выпущена 1-м, 2-м и 3-м цехами соответственно.

Контроль: . Кроме того, будет не лишним ещё раз посмотреть на фразу «Известно, что первый цех производит изделий в 2 раза больше второго цеха и в 4 раза больше третьего цеха» и убедиться, что полученные значения вероятностей действительно соответствуют этому условию.

За «икс» изначально можно было принять долю 1-го либо долю 2-го цеха – вероятности выйдут такими же. Но, так или иначе, самый трудный участок пройден, и решение входит в накатанную колею:

Из условия находим:
– вероятности изготовления бракованной детали для соответствующих цехов.

По формуле полной вероятности:
– вероятность того, что наугад извлеченная из контейнера деталь окажется нестандартной.

Вопрос второй: какова вероятность того, что извлечённую бракованную деталь выпустил 3-й цех? Данный вопрос предполагает, что деталь уже извлечена, и она оказалось бракованной. Переоцениваем гипотезу по формуле Байеса:
– искомая вероятность. Совершенно ожидаемо – ведь третий цех производит не только самую малую долю деталей, но и лидирует по качеству!

В данном случае пришлось упрощать четырёхэтажную дробь , что в задачах на формулы Байеса приходится делать довольно часто. Но для данного урока я как-то так случайно подобрал примеры, в которых многие вычисления можно провести без обыкновенных дробей.

Коль скоро в условии нет пунктов «а» и «бэ», то ответ лучше снабдить текстовыми комментариями:

Ответ : – вероятность того, что извлечённая из контейнера деталь окажется бракованной; – вероятность того, что извлечённую бракованную деталь выпустил 3-й цех.

Как видите, задачи на формулу полной вероятности и формулы Байеса достаточно простЫ, и, наверное, по этой причине в них так часто пытаются затруднить условие, о чём я уже упоминал в начале статьи.

Дополнительные примеры есть в файле с готовыми решениями на Ф.П.В. и формулы Байеса , кроме того, наверное, найдутся желающие более глубоко ознакомиться с данной темой в других источниках. А тема действительно очень интересная – чего только стОит один парадокс Байеса , который обосновывает тот житейский совет, что если у человека диагностирована редкая болезнь, то ему имеет смысл провести повторное и даже два повторных независимых обследования. Казалось бы, это делают исключительно от отчаяния… – а вот и нет! Но не будем о грустном.

– вероятность того, что произвольно выбранный студент сдаст экзамен.
Пусть студент сдал экзамен. По формулам Байеса:
а) – вероятность того, что студент, сдавший экзамен, был подготовлен очень хорошо. Объективная исходная вероятность оказывается завышенной, поскольку почти всегда некоторым «середнячкам» везёт с вопросами и они отвечают очень сильно, что вызывает ошибочное впечатление безупречной подготовки.
б) – вероятность того, что студент, сдавший экзамен, был подготовлен средне. Исходная вероятность оказывается чуть завышенной, т.к. студентов со средним уровнем подготовки обычно большинство, кроме того, сюда преподаватель отнесёт неудачно ответивших «отличников», а изредка и плохо успевающего студента, которому крупно повезло с билетом.
в) – вероятность того, что студент, сдавший экзамен, был подготовлен плохо. Исходная вероятность переоценилась в худшую сторону. Неудивительно.
Проверка:
Ответ :

При выводе формулы полной вероятности предполагалось, что событие А , вероятность которого следовало определить, могло произойти с одним из событий Н 1 , Н 2 , ... , Н n , образующих полную группу попарно несовместных событий. При этом вероятности указанных событий (гипотез) были известны заранее. Предположим, что произведен эксперимент, в результате которого событие А наступило. Эта дополнительная информация позволяет произвести переоценку вероятностей гипотез Н i , вычислив Р(Н i /А).

или, воспользовавшись формулой полной вероятности, получим

Эту формулу называют формулой Байеса или теоремой гипотез. Формула Байеса позволяет «пересмотреть» вероятности гипотез после того, как становится известным результат опыта, в результате которого появилось событие А .

Вероятности Р(Н i) − это априорные вероятности гипотез (они вычислены до опыта). Вероятности же Р(Н i /А) − это апостериорные вероятности гипотез (они вычислены после опыта). Формула Байеса позволяет вычислить апостериорные вероятности по их априорным вероятностям и по условным вероятностям события А .

Пример . Известно, что 5 % всех мужчин и 0.25 % всех женщин дальтоники. Наугад выбранное лицо по номеру медицинской карточки страдает дальтонизмом. Какова вероятность того, что это мужчина?

Решение . Событие А – человек страдает дальтонизмом. Пространство элементарных событий для опыта – выбран человек по номеру медицинской карточки – Ω = {Н 1 , Н 2 } состоит из 2 событий:

Н 1 −выбран мужчина,

Н 2 −выбрана женщина.

Эти события могут быть выбраны в качестве гипотез.

По условию задачи (случайный выбор) вероятности этих событий одинаковые и равны Р(Н 1 ) = 0.5; Р(Н 2 ) = 0.5.

При этом условные вероятности того, что человек страдает дальтонизмом, равны соответственно:

Р(А/Н 1 ) = 0.05 = 1/20; Р(А/Н 2 ) = 0.0025 = 1/400.

Так как известно, что выбранный человек дальтоник, т. е. событие произошло, то используем формулу Байеса для переоценки первой гипотезы:

Пример. Имеются три одинаковых по виду ящика. В первом ящике 20 белых шаров, во втором – 10 белых и 10 черных, в третьем – 20 черных шаров. Из выбранного наугад ящика вынули белый шар. Вычислить вероятность того, что шар вынут из первого ящика.

Решение . Обозначим через А событие – появление белого шара. Можно сделать три предположения (гипотезы) о выборе ящика: Н 1 , Н 2 , Н 3 − выбор соответственно первого, второго и третьего ящика.

Так как выбор любого из ящиков равновозможен, то вероятности гипотез одинаковы:

Р(Н 1 )=Р(Н 2 )=Р(Н 3 )= 1/3.

По условию задачи вероятность извлечения белого шара из первого ящика

Вероятность извлечения белого шара из второго ящика

Вероятность извлечения белого шара из третьего ящика

Искомую вероятность находим по формуле Байеса:

Повторение испытаний. Формула Бернулли .

Проводится n испытаний, в каждом из которых событие А может произойти или не произойти, причем вероятность события А в каждом отдельном испытании постоянна, т.е. не меняется от опыта к опыту. Как найти вероятность события А в одном опыте мы уже знаем.

Представляет особый интерес вероятность появления определенного числа раз (m раз) события А в n опытах. подобные задачи решаются легко, если испытания являются независимыми.

Опр. Несколько испытаний называюся независимыми относительно события А , если вероятность события А в каждом из них не зависит от исходов других опытов.

Вероятность Р n (m) наступления события А ровно m раз (ненаступление n-m раз, событие ) в этих n испытаниях. Событие А появляется в самых разных последовательностях m раз).

- формулу Бернулли.

Очевидны следующие формулы:

Р n (mменее k раз в n испытаниях.

P n (m>k) = P n (k+1) + P n (k+2) +…+ P n (n) - вероятность наступления события А более k раз в n испытаниях.