Likelihood는 무엇인가? 논문 ,교재들을 접하면서 Maximum Likelihood Estimation(MLE), Maximum a Posteriori Estimation(MAP)용어를 볼 수 있다. 또한 평균은 또한 Likelihood와 무슨 상관이 있을 까 할 것이다.
시작전 몸풀이 문제 제시
만약 아래의 그림과 같이 샘플이 있다. 우리가 알고 있는 지식으로 가장 간단하고 쉽게 설명할 방법은 무엇일까?
모델 정하기: 평균으로 해볼까? 음... 퍼짐 정도도 필요해..., 바로 분산!!!
쉽게 생각해보자, 평균으로 해볼까? 얼마나 퍼저있는 것도 중요하니 분산도 사용하자.
평균과 분산과 가우시안 확률 함수
파란색 둥근원 샘플을 설명할 수 있는 방법은 여러가지가 있다. 가장 익숙한 가우시안(종모양) 확률 함수의 평균과 분산으로 설명해 보자. 이것은 우리가 모델을 정한 것이다. 더 명확히 말하면, 이제 우리는 가우시안 확률 밀도 함수(Gaussian Probability Density Function, PDF)는 평균과 분산으로 이 샘플들을 설명하려 한다. 가장 중요한 것은 종 모양의 최정상점이 평균이고, 분산은 이것의 폭을 설명하는 인자이다.
그런데, 평균($u$)와 분산($\sigma$)을 어떻게 구하지? 바로 likelihood이다.
종모양(가우시안 확률 밀도 함수)과 Likelihood로 연결
샘플들의 평균/분산을 이미 직관적으로 했다. 이제 이 직관적인 것을 수학의 언어로 구체화 해보자. 무엇으로 해야 하나? 당신은 무엇을 상상했나? (상상은 자유다!)
먼저 이것은 가우시안 확률 밀도 함수로 만들 수 있는 모양(종의 모양)은 매우 다양하다. 분산이 크면 넓은 종이 되고, 작으면 뽀족한 종이 된다. 그리고 평균은 종의 중심을 이동하는 효과이다. 그 많은 종의 상태(폭=분산, 중심위치=평균) 중 가장 적합한 것은 무엇일까이다. 여기서 핵심이 필요하다.
이제 이 다양한 종모양들의 얼마나 딱 맞는지 수치를 재보면 된다. 바로 likelihood로 가능하다.
적합도? 가능성? Likelihood? 어떻게? 수학이니깐 수치가 필요하다.
이미 가우시안 확률 밀도 함수에 평균과 분산이 어떤 숫자로 구체화(고정) 했다면, 샘플에 대응하는 확률을 구할 수 있을 것이다. 이게 한 샘플과 고정된 평균과 분산의 likelihood이다. 자 이게 평균과 분산을 다른 종모양이 또 있을 것이다. 그때에도 likelihood가 구해질 것이다. 즉, 샘플로부터 가인시안 확률 밀도의 평균과 분산을 likelihood를 구하는 것이다(생각흐름: 샘플 -> 모델 인자, likelihood). 뒤집어서 생각하면(생각흐름: 모델인자 -> 샘플, probability) 보통 샘플이 이 평균과 분산으로부터 발생할 가능성으로 볼 수 있다.
즉 샘플의 평균/분산을 구한다 = 모델의 인자를 구한다 = Maximum Likelihood Estimation = 최적합 확률 밀도 함수의 인자 찾기. 모두 풀고자하는 같은 개념의 문제이었다.
* MLE(Maximum Likelihood Estimation) 기법
- 미분 방법
- EM 알고리즘