[확률과 통계] 큰 수의 법칙과 중심 극한 정리

큰 수의 법칙

큰 수의 법칙(The low of large numbers)은

 

확률 변수 $Z_1, Z_2, \cdots$가 어떤 실수 b로 수렴한다고 할때

 

만약 $\forall \varepsilon > 0$ 라면 $\displaystyle\lim_{n \to \infty} P(|Z_n - b| < \varepsilon) = 1$ 을 만족한다고 하고

 

 

$Z_n \overset{p}{\longrightarrow} b$

 

 

라고 표기합니다.

 

$\varepsilon$의 값이 클때

$\varepsilon$의 값이 큰 경우 $Z_n$이 lower ~ upper 범위 내에서 존재할 확률은 굉장히 적지만

 

$\varepsilon$의 값이 작을때

$\varepsilon$의 값이 계속해서 작아지면 $Z_n$이 lower ~ upper 범위 내에서 존재할 확률은 계속해서 커지고

 

 

결국 1에 수렴하게 됩니다.

---

표본 평균과 큰 수의 법칙

평균이 $\mu$, 분산이 $\sigma^2$ 인 모집단에서

 

표본을 계속해서 뽑으면, 해당 표본들의 평균은 모집단의 평균($\mu$)와 같아집니다.

 

이는 약한 큰 수의 법칙(The weak law of large numbers)에 의해 다음과 같이 나타낼 수 있습니다.

 

 

$\bar{X_n} \overset{p}{\longrightarrow} \mu$

 

 

체비셰브 부등식을 통해 증명할 수 있습니다.

---

중심 극한 정리

중심 극한 정리(The Central Limit Theorm, CLT) 중, 린데베르그와 레비의 중심 극한 정리를 다루려 합니다.

 

 

평균이 $\mu$, 분산이 $\sigma^2$인 모집단(분포의 형태가 정규이든 뭐든 상관x)에서 채취한 랜덤 표본들 $X_1, \cdots, X_n$에 대해

1. $E(\bar{X_n}) = \mu$

2. $\bar{X_n} \overset{p}{\longrightarrow} \mu$

 

이 성립하고

 

모든 $x$에 대해 $\displaystyle\lim_{n \to \infty} P(\frac{\bar{X_n} - \mu}{\frac{\sigma}{\sqrt{n}}} \le x) = \Phi(x)$ 가 성립합니다.

 

이때 $\sqrt{n}(\bar{X_n} - \mu) \overset{p}{\longrightarrow} N(0, \sigma^2)$ 라고 할 수 있습니다.

 

 

이는 중심 극한 정리에 의해 표본들의 크기(n)가 충분히 클때

 

모집단에서 구한 표본 평균들의 분포가

 

평균이 $\mu$, 분산이 $\frac{\sigma^2}{n}$ 인 정규 분포로 수렴한다는 것을 의미합니다.

 

또한 표본들의 합의 분포는 평균이 $n\mu$, 분산이 $n\sigma^2$ 인 정규 분포로 수렴한다는 것 또한 알 수 있습니다.

 

 

 

눈여겨 봐야할 것은 모집단의 분포가 무엇이든 상관없이, 평균과 분산이 존재할때

 

표본의 크기가 충분히 크다면 중심 극한 정리를 사용할 수 있다는 것입니다.