[수학] 중간고사 공부

(주의: 모르는 부분만 산발적으로 정리했기 때문에 흐름이 조금 두서없습니다.)

 

1. 확률밀도함수, 확률질량함수

맨날 나오는 단어인데 정확하게 짚고넘어가고자 정리해본다.

• 확률밀도함수(PDF, Probability Density Fuction): 연속형 확률변수. 특정 구간에 대한 확률을 적분으로 계산함 (e.g. 정규분포)
• 확률질량함수(PMF, Probability Mass Function): 이산형 확률변수. 특정 값에 대한 확률을 계산함 (e.g. 이항분포, 포아송분포)

 

2. 지수분포족 (the exponential family of distributions)

2.1 정의

확률분포를 지수함수 꼴로 표현할 수 있는 분포들의 집합이다.

아래 식 형태로 쓸 수 있으면 된다.

각각의 항을 살펴보면 아래와 같다.

$y \theta$: 데이터 $y$랑 $\theta$ (정준모수)만 있는 항

$ \gamma (\theta)$: 모수만 있는 부분

$\varphi$: 스케일 조절 (산포모수)

$\tau (y, \varphi)$: 나머지 항

 

2.1.1. 모수 (Parameter)

• 모수 (parameter): 확률분포의 모양을 결정하는 값 (e.g. $\mu$, $\sigma^2$, $\lambda$, $p$)
• 정준모수(Canonical Parameter): 데이터 $y$랑 직접 곱해지는 모수. $\theta$
• 산포모수(Dispersion Parameter): 분포의 퍼짐을 조절하는 모수. $\varphi$

 

 

2.2 장점

평균, 분산 계산이 쉬워짐

GLM(Generalized Linear Model) 가능

MLE 계산이 깔끔해짐

 

3. 지수분포족 예시

정규분포, 이항분포, 포아송분포, 베르누이분포, 감마분포, 역감마분포 등

 

3.1 정규분포

평균이 $\mu$이고 분산이 $\sigma^2$인 경우 정규분포의 확률밀도함수는 아래와 같다.

 

전개하면 아래와 같다.

 

 

3.2 이항분포

시행횟수가 $u$이고 성공률이 $p$인 경우 이항분포의 확률밀도함수는 아래와 같다.

 

전개하면 아래와 같다.

 

 

3.3 포아송분포

'어떤 구간 안에서 사건이 몇 번 발생하는가?'를 뜻한다.

  e.g. 1분 동안 전화가 몇 번 오는가? / 1시간 동안 서버 에러가 몇 번 나는가? / 1km 도로에서 사고가 몇 번 나는가?

 

포아송이 이항분포의 극한이다! 시행이 많고 성공확률이 매우 작을 때 포아송으로 근사할 수 있다.

아래처럼 이항분포를 특정 조건에서 전개하면 포아송분포 식이 나옴을 알 수 있다.

 

즉, 식은 아래와 같다.

 

전개하면 아래와 같다.

 

4. 결합분포, 주변분포

• 결합분포(Joint Distribution): 2개 이상의 확률변수가 동시에 특정 값을 가질 확률
• 주변분포(Marginal Distribution): 결합분포에서 하나의 확률변수에 대한 확률분포만 남긴 분포

 

학생이 (영어, 수학) 시험을 봤는데 우리는 수학점수가 n일 확률만 보고 싶다고 하자.

그러면 아래처럼 구하면 된다.

P(수학 = n) = P(영어=0, 수학=n) + P(영어=1, 수학=n) +  P(영어=2, 수학=n) +  ...  

 

 

 

---

엥 이항분포 식을 (u y)가 아니라 (u uy)로 놓고 품. 이거 체크