베이즈 정리
조건부 확률
: 어떤 사건이 발생했다는 조건이 주어진 하에서 다른 사건이 발생할 확률
예를 들면, 두 개의 사건 A, B가 있고 B가 일어날 확률이 0보다 크다고 한다면, 사건 B가 일어났다는 조건하에 사건 A가 일어날 확률은 아래와 같다.
실제값으로 예를 들면, 어느 대학의 통계학 강좌에서 수강생 중 25%가 A학점을 받았으며, 1학년 중에서 A학점을 받은 학생은 전체 수강학생의 15%라고 할 때, 임의로 한 학생을 선택하였을 때 그 학생이 A학점을 받았다고 주어진다면, 그 학생이 1학년일 확률은 P(B|A) = 0.15/0.25 = 3/5 = 0.6이 될 것이다.
*임의로 선택된 학생이 A학점을 받은 학생일 사건을 A, 1학년 학생일 사건을 B라고 한다면 고려하는 사건은 A가 주어졌을 때 B가 일어나는 것이므로 P(B|A)가 된다.
조건부 확률의 정의를 이용하면 두 개의 사건 사이의 관계에 대해 판단할 수 있다. 하나의 사건이 일어났다는 사실이 다른 사건이 일어날 확률에 영향을 주지 않는 경우에 두 사건은 서로 독립사건이라 하며, 그렇지 않은 경우에는 종속사건이라 한다.
확률의 곱셈법칙
: 확률 계산을 위한 법칙 중의 하나로 곱사건에 대한 확률을 조건부 확률을 이용하면 계산할 수 있다. 조건부 확률의 정의로부터 P(A|B) = P(A∩B) / P(B)이고, P(B|A) = P(A∩B) / P(A)이므로 다음과 같이 곱사건에 대한 확률을 구할 수 있다.
임의의 두사건 A, B에 대하여 P(A∩B) = P(A) * P(B|A) = P(B) * P(A|B)
→ 조건으로 주어진 정보가 어느 것이냐에 따라 위의 식 중에 하나를 택하여 계산하면 된다. 두 사건 A, B가 서로 독립일 경우에는 P(B|A) = P(B)이므로 P(A∩B) = P(A) * P(B)가 성립함을 쉽게 알 수 있다.
예를 들면, 10개의 빨간 공과 6개의 파란 공이 들어 있는 상자로부터 하나씩 두개의 공을 뽑는다고 할 때, 첫 번째 공이 빨간 공이고 두번째 공이 파란 공일 확률은 (꺼낸 공은 되돌려 넣지 않는다고 가정했을 때) P(A∩B) = P(A) * P(B|A) = 10/16 * 6/15 = 1/4 = 0.25임을 알 수 있다.
→ 첫 번째 공이 빨간 공일 사건을 A, 두 번째 공이 파란 공일 사건을 B라 한다면 구하는 확률은 P(A∩B) = P(A) * P(B|A)이 될 것이다.
베이즈 정리
: 우리는 P(B|A)를 구할 때 P(A∩B) / P(A) 로 구했지만, 베이즈 정리를 통해 P(A∩B), P(A)가 직접 주어지지 않아도 구할 수 있다. 베이즈 정리는 확률의 계산에 유용하게 쓰일뿐만 아니라 의사결정론에서도 중요한 역할을 한다.
→ A_1, A_2, …, A_k를 k개의 서로 배반인 사건이고, 각각의 일어날 확률이 0보다 크다고 할 때, 임의의 사건 B에 대하여 P(A_i|B) = P(A_i∩B) / P(B)
= P(A_i) * P(B|A_i) / P(A_1) * P(B|A_i) + P(A_2) * P(B|A_2) + … + P(A_k) * P(B|A_k) 이다.
예) 어떤 공장에서 숙련공 김씨와 초보자 박씨 두 사람이 각각 총 생산되는 제품의 80%, 20%를 만들어 낸다고 하자. 경험에 의하면 김씨가 생산하는 제품 중에서 1%, 박씨가 생산하는 제품 가운데서 10%가 불량품이라고 알려져 있다. 어느 날 공장에서 생산된 제품 가운데서 임의로 한 개를 선택해서 보았는데 그것이 불량품이엿다. 이 제품을 김씨가 생산했을 확률은 얼마인가?
→ 김씨가 제품을 생산하는 사건을 A, 생산된 제품이 불량품일 사건을 B, 박씨가 제품을 생산하는 사건을 A^c, 생산된 제품이 양호품일 사건을 B^c로 하면 P(A) = 0.8, P(A^c) = 0.2, P(B|A) = 0.01, P(B|A^c) = 0.1로 나타낼 수 있고, 구하려는 확률은 P(A|B)에 해당된다. P(A|B)를 구하기 위해서는 P(A∩B)와 P(B)의 값이 필요한데, 주어진 조건을 이용해서 다음 값들을 쉽게 구할 수 있다.
P(A∩B) = P(A) * P(B|A) = 0.8 * 0.01 = 0.008
P(B) = P(B∩(A∪A^c)) = P((B∩A)∪(B∩A^c))
= P(B∩A) + P(B∩A^c)
= P(A) * P(B|A) + P(A^c) * P(B|A^c) → 확률의 곱셈법칙
= 0.8 * 0.01 + 0.2 * 0.1
= 0.028이 되므로
우리가 구하는 확률은 P(A|B) = P(A∩B) / P(B)
= 0.08 / 0.028이 된다.
이와 같은 내용은 베이즈 정리로 일반화 할 수 있는데, 서로 배반인 k개의 사건 A_1, A_2, …, A_k에 대하여 어떤 사건 B가 주어졌을 때, A_i|B의 조건부 확률을 구하면 된다. 이처럼 사건 B의 확률은 다음과 같이 나타낼 수 있는데, 이를 전확률 공식이라 한다.
전확률 공식 : P(B) = P(A_1∩B) + P(A_2∩B) + … + P(A_k∩B)
= P(A_1) * P(B|A_1) + P(A_2) * P(B|A_2) + … + P(A_k) * P(B|A_k)
전확률 공식을 이용하면 이러한 문제를 쉽게 해결할 수 있다.