'2008/07'에 해당되는 글 2건

  1. 2008.07.25 조건부 확률 1
  2. 2008.07.23 Maximum Likelihood Estimation

조건부 확률

언어처리 2008. 7. 25. 14:22

보면 알겠는데
누가 설명해 달라면 입이 닫힌다...
잊어 버릴때마다 정리를 해야겠다.

조건부 확률 이라함은.
P(A|B) 이런식으로 표현을 하고
사건 B가 일어나고  사건A가 일어날 확률을 구하는 문제이다.
( 이 말은 B가  전체 도메인이 되었다는 것을 의미한다. {B = 전체도메인} 이 표현이 없다면 A,B를 포함하고 있는 전체 박스가 전체 도메인이다 )
단순하게 생각하면 A와 B의 교집합을 구하는 문제로 생각할수 있는데
항상 P(A|B) = P(B|A)가 아니기 때문에 이말은 틀린 말이다.
사용자 삽입 이미지


보통 이식은 다음과 같이 풀어진다.
P(A|B) = P(B|A)*P(A)/P(B)

유도과정을 살펴보면

먼저 P(A|B)는 아래와 같다

사용자 삽입 이미지

그러면 반대로 사건 A가 일어 났을때  사건 B가 일어날 확률은 아래와 같다.

사용자 삽입 이미지
P(A|B)=P(A^B)/P(B)
=> P(A|B)*P(B) = P(A^B)가 되고

P(B|A)=P(A^B)/P(A)
=> P(B|A)*P(A)=P(A^B)가 된다.

이두식의 우변이 같으므로
결과적으로 아래와 같은 식이 성립한다.

사용자 삽입 이미지

그러면 P(A|B)를 구하기 위해서는 결과적으로 아래의 식과같이 유도가 된다.

사용자 삽입 이미지

P(A|B)를 구하기 위해서는
P(B|A) ,
P(A),
P(B) 의 값을 알고 있어야 한다.

 결론적으로 P(B|A)를 알고  있으면 P(A|B)를 구할수 있다.


간단히
참고 :
1. http://synap.tistory.com/entry/%EC%A1%B0%EA%B1%B4%EB%B6%80-%ED%99%95%EB%A5%A0%EB%B2%A0%EC%9D%B4%EC%A7%80%EC%95%88%EC%9D%98-%EC%9D%B4%ED%95%B4%EB%A5%BC-%EC%9C%84%ED%95%9C-%EC%98%88%EC%A0%9C-%EB%B0%8F-%ED%92%80%EC%9D%B4
2. http://enc.daum.net/dic100/contents.do?query1=20XXXX5791

'언어처리' 카테고리의 다른 글

PLSA  (0) 2008.09.06
Expectation Maximization  (0) 2008.09.05
Maximum Likelihood Estimation  (0) 2008.07.23
Latent Semantic Analysis 2  (1) 2008.05.13
Latent Semantic Analysis  (2) 2008.04.30
Posted by 고요한하늘
,

Machine learning 공부할때 자주 나오는 개념


http://statgen.iop.kcl.ac.uk/bgim/mle/sslike_3.html



간단히 설명하면

사전 X가 나올 확률 P(X|p)로 표현하고

우도값은 L( p | x ) 이렇게 표현한다






동전 던지기 테스트


동전던지기를 100회 시행 해서

56번 앞면이 나왔을때


p = 0.52일 경우

p = 0.5일 경우


(계산 방법은 아래 excel 파일 참조)


p 값을 다양하게 해서 테스트를 해보면

p값이 0.56일때  우도값(likelihood)이 가장 크다


결국 Maximum Likelihood Estimation은 0.56이 된다.



왜 MLE에 우리는 많은 시간을 소비하는가?

이런 예제는 너무 간단해서 눈으로도 대략 MLE를 추정할수 있지만

우리가 접하는 모든 문제가 이렇게 간단하지만은 않기 때문이다.

'언어처리' 카테고리의 다른 글

Expectation Maximization  (0) 2008.09.05
조건부 확률  (1) 2008.07.25
Latent Semantic Analysis 2  (1) 2008.05.13
Latent Semantic Analysis  (2) 2008.04.30
띄어쓰기의 어려움 bigram 2-1  (1) 2008.02.03
Posted by 고요한하늘
,