[확률과 통계] 큰 수의 법칙과 중심 극한 정리

큰 수의 법칙

큰 수의 법칙(The low of large numbers)은

 

확률 변수 $Z_1,Z_2,\cdots$가 어떤 실수 b로 수렴한다고 할때

 

만약 $\mathrm{\forall }\epsilon >0$ 라면 ${\displaystyle \underset{n\to \mathrm{\infty }}{lim}P(|Z_n-b|<\epsilon )=1}$ 을 만족한다고 하고

 

 

$Z_n\stackrel{p}{⟶}b$

 

 

라고 표기합니다.

 

$\epsilon$의 값이 클때

$\epsilon$의 값이 큰 경우 $Z_n$이 lower ~ upper 범위 내에서 존재할 확률은 굉장히 적지만

 

$\epsilon$의 값이 작을때

$\epsilon$의 값이 계속해서 작아지면 $Z_n$이 lower ~ upper 범위 내에서 존재할 확률은 계속해서 커지고

 

 

결국 1에 수렴하게 됩니다.

---

표본 평균과 큰 수의 법칙

평균이 $\mu$, 분산이 ${\sigma }^2$ 인 모집단에서

 

표본을 계속해서 뽑으면, 해당 표본들의 평균은 모집단의 평균($\mu$)와 같아집니다.

 

이는 약한 큰 수의 법칙(The weak law of large numbers)에 의해 다음과 같이 나타낼 수 있습니다.

 

 

$\overline{X_n}\stackrel{p}{⟶}\mu$

 

 

체비셰브 부등식을 통해 증명할 수 있습니다.

---

중심 극한 정리

중심 극한 정리(The Central Limit Theorm, CLT) 중, 린데베르그와 레비의 중심 극한 정리를 다루려 합니다.

 

 

평균이 $\mu$, 분산이 ${\sigma }^2$인 모집단(분포의 형태가 정규이든 뭐든 상관x)에서 채취한 랜덤 표본들 $X_1,\cdots ,X_n$에 대해

1. $E(\overline{X_n})=\mu$

2. $\overline{X_n}\stackrel{p}{⟶}\mu$

 

이 성립하고

 

모든 $x$에 대해 ${\displaystyle \underset{n\to \mathrm{\infty }}{lim}P(\frac{\overline{X_n}-\mu }{\frac{\sigma }{\sqrt{n}}}\le x)=\mathrm{\Phi }(x)}$ 가 성립합니다.

 

이때 $\sqrt{n}(\overline{X_n}-\mu )\stackrel{p}{⟶}N(0,{\sigma }^2)$ 라고 할 수 있습니다.

 

 

이는 중심 극한 정리에 의해 표본들의 크기(n)가 충분히 클때

 

모집단에서 구한 표본 평균들의 분포가

 

평균이 $\mu$, 분산이 $\frac{{\sigma }^2}{n}$ 인 정규 분포로 수렴한다는 것을 의미합니다.

 

또한 표본들의 합의 분포는 평균이 $n\mu$, 분산이 $n{\sigma }^2$ 인 정규 분포로 수렴한다는 것 또한 알 수 있습니다.

 

 

 

눈여겨 봐야할 것은 모집단의 분포가 무엇이든 상관없이, 평균과 분산이 존재할때

 

표본의 크기가 충분히 크다면 중심 극한 정리를 사용할 수 있다는 것입니다.