표본(+표본평균, 표본분산)에 관하여

현행 고등학교 교육과정에서 '확률과 통계' 중 '통계' 파트는 설명이 참 부실합니다. 그래서, 개념도 잘 모른 채로 넘어가는 학생들이 많은 것 같습니다. 그럼에도 불구하고 문제는 풀리니, 참으로 아이러니한 단원이죠. 막상 개념을 물으면 잘 대답을 하지 못하는 경우가 많아서 이러한 글을 쓰게 되었습니다. 

 

표집

고등학교 교육과정에서는 표본추출이라는 이름으로 더 잘 알려져 있습니다. 표집은 말 그대로 모집단에서 표본을 추출하는 과정으로, 그 전에 먼저 모집단과 표본에 대해 알아야겠죠. 

 

 

모집단	표본
정보를 얻고자 하는 관심대상의 전체 집합 - size가 너무 크다! - 모두 조사하기에는 조금 힘들다!	적당한 크기를 가지는 모집단의 부분집합 - size가 적당하다! - 여러개일 수 있다!

 

당연히, 표본의 크기는 어느정도 감당할 정도여야 합니다. 표본은 일단, 다양하게 나올 수 있습니다. 예를 들어, 수능 예상 점수를 추정하기 위해 수험생 50만명 중 100명 정도를 뽑았는데, 우연히 그것이 다 재수생일수도 있고, 우연히 그것이 다 여자일 수도 있죠. 그러니, 이러한 표본을 잘 뽑아야 합니다. 기본적으로는 임의추출이라는 방법을 택하고 있는데, 수학에서는 복원추출을 택하고 있습니다. 뽑는 순서에 따라 확률이 달라지지 않도록 하기 위함이죠.

 

그렇다면, 표본에 대한 좀 더 자세한 정의를 내려봅시다. 

 

크기가 $n$인 확률표본

모집단으로부터 한 번에 한 개씩 $n$개의 관측값을 추출할 때, $i$번째로 추출된 확률변수를 $X_i$라 하면, 크기가 $n$인 확률표본은 iid인 확률변수열 $\{ X_i \}$이다.

 

여기서 iid란 독립항등분포를 뜻하는 말로, 간단히 각 확률변수가 모두 독립이고 동일한 확률분포를 따른다는 것입니다.

(확률변수의 독립과 종속은 이후에 다루겠습니다)

 

왜 확률변수인가?

많은 사람들이 왜 각각 추출된 것이 확률변수인지를 잘 모르는 것 같습니다. 예시를 들어보겠습니다.

 

모집단이 다음과 같습니다.

$$\{1,2,3,4\}$$

 

그렇다면 크기가 2인 표본은 다음과 같습니다.

 

$(1,1)$	$(1,2)$	$(1,3)$	$(1,4)$
$(2,1)$	$(2,2)$	$(2,3)$	$(2,4)$
$(3,1)$	$(3,2)$	$(3,3)$	$(3,4)$
$(4,1)$	$(4,2)$	$(4,3)$	$(4,4)$

 

<예시 1>

 

(표기의 편의를 위해 표본을 $(X_1 , X_2)$와 같은 일종의 순서쌍 비슷하게 표현하였습니다)

위에서 알 수 있는 것은, 표본의 총 개수는 $4^2$개, 즉 (모집단의 크기)^(표본의 크기)임을 알 수 있습니다. 이는 표본의 크기와는 다릅니다!! 그리고, 각각의 표본이 나올 확률은 동일하겠죠.

 

중요한 것은 $(X_1 , X_2)$에서 $X_1$과 $X_2$는 모두 확률변수라는 점입니다. 표를 만들어보면 다음과 같겠군요.

 

$X_1$	$1$	$2$	$3$	$4$	계
$\mathrm{P}(X_1 = x)$	$\dfrac{4}{16}$	$\dfrac{4}{16}$	$\dfrac{4}{16}$	$\dfrac{4}{16}$	$1$

 

$X_2$	$1$	$2$	$3$	$4$	계
$\mathrm{P}(X_2 = x)$	$\dfrac{4}{16}$	$\dfrac{4}{16}$	$\dfrac{4}{16}$	$\dfrac{4}{16}$	$1$

 

당연히, 둘은 독립적이고 같은 확률분포를 따를 것입니다. (iid를 가정했으니까요!)

 

이정도면 $X_i$는 확률변수임이 이해되었을 것이고, 표본은 이런것의 열(수열같이)이라고 이해하면 되겠습니다.

 

표본평균

위의 <예시 1>에서 표본평균을 구해봅시다. 표본평균은 말그대로 표본의 평균입니다. 이 또한 확률변수이겠죠. 예시를 들어 이해해 봅시다.

 

$(1,1)$	$(1,2)$	$(1,3)$	$(1,4)$
$1$	$1.5$	$2$	$2.5$
$(2,1)$	$(2,2)$	$(2,3)$	$(2,4)$
$1.5$	$2$	$2.5$	$3$
$(3,1)$	$(3,2)$	$(3,3)$	$(3,4)$
$2$	$2.5$	$3$	$3.5$
$(4,1)$	$(4,2)$	$(4,3)$	$(4,4)$
$2.5$	$3$	$3.5$	$4$

 

여기서 청록색 숫자가 그 표본의 평균입니다. 이러한 각각의 표본의 평균을 값으로 가지는 확률변수를 생각할 수 있습니다. 그것을 표본평균이라고 하며, $\overline{X}$으로 표현합니다. 그리고, 구하는 법은 다음과 같습니다.

$$\dfrac{\displaystyle\sum_{i=1}^{n} X_i}{n}$$

확률분포표를 만들면 다음과 같겠군요.

 

$\overline{X}$	$1$	$1.5$	$2$	$2.5$	$3$	$3.5$	$4$	계
$\mathrm{P}(\overline{X} = x)$	$\dfrac{1}{16}$	$\dfrac{2}{16}$	$\dfrac{3}{16}$	$\dfrac{4}{16}$	$\dfrac{3}{16}$	$\dfrac{2}{16}$	$\dfrac{1}{16}$	$1$

 

신기한 점은, 모평균을 $\mu$라고 하면 다음이 성립한다는 것입니다.

$$\mathrm{E}(\overline{X}) = \mu$$

(이는 어찌보면 당연한데, 그 이유를 알고 싶으면 아래의 접은 글을 눌러주세요)

사실, 이런 것은 의도된 것입니다. 모집단을 나타내는 확률변수(모수)를 $\theta$라고 하고, 표본을 나타내는 확률변수(추정량)을 $\hat{\Theta}$라고 하면, $\mathrm{E}(\hat{\Theta}) = \theta$를 만족해야지 좋은 추정이기 때문입니다. 이를 불편성(Unbiasedness)이라고 합니다.

 

증명은 간단합니다.

기댓값을 나타내는 $\mathrm{E}$은 선형 연산자(덧셈이 분리가능하고, 상수배를 밖으로 끄집어낼 수 있는 연산자)이므로 이의 성질을 사용합시다. 그리고, $X_i$는 각각 독립이고 같은 확률분포를 따르므로, $\mathrm{E}(X) = \mathrm{E}(X_i) = \mu$임을 알 수 있습니다.

$$\overline{X} = \frac{X_1 + X_2 + \cdots + X_n}{n}$$

이므로 

$$\mathrm{E}(\overline{X}) = \mathrm{E} \left(\frac{X_1 + \cdots X_n}{n}\right) = \frac{\mathrm{E}(X_1) + \cdots \mathrm{E}(X_n)}{n} = \frac{n \mu}{n} = \mu$$

 

 

추가적으로, 모분산을 $\sigma^2$이라 하면 표본평균의 분산은 다음과 같습니다. 

$$\mathrm{V}(\overline{X}) = \frac{\sigma^2}{n}$$

(증명은 추후에 분산의 성질과 관련하여 다른 게시물로 올리겠습니다)

표본분산

표본분산도 표본평균처럼 이해할 수 있습니다. 말 그대로, 표본의 분산입니다. 그런데! 일반적으로 분산을 구하는 것과는 다르게 편차 제곱의 합을 $n-1$로 나눠야 합니다. 이유는 좀 있다 설명하는 것으로 하고, 먼저 예시로 알아보죠.

 

 

$(1,1)$	$(1,2)$	$(1,3)$	$(1,4)$
$1$    $0$	$1.5$    $0.5$	$2$    $2$	$2.5$    $4.5$
$(2,1)$	$(2,2)$	$(2,3)$	$(2,4)$
$1.5$    $0.5$	$2$    $0$	$2.5$    $0.5$	$3$    $2$
$(3,1)$	$(3,2)$	$(3,3)$	$(3,4)$
$2$    $2$	$2.5$    $0.5$	$3$    $0$	$3.5$    $0.5$
$(4,1)$	$(4,2)$	$(4,3)$	$(4,4)$
$2.5$    $4.5$	$3$    $2$	$3.5$    $0.5$	$4$    $0$

 

● 표본평균        ● 표본분산

 

이렇게 표본분산을 구할 수 있습니다. 표본분산은 $s^2$으로 나타내며, 이는 다음과 같이 구합니다.

$$s^2 = \dfrac{ \sum_{i=1}^n (X_i - \overline{X})^2}{n-1}$$

당연히 이도 확률변수이며 확률분포표를 그리면 다음과 같습니다.

 

$s^2$	$0$	$0.5$	$2$	$4.5$	계
$\mathrm{P}(s^2 = x)$	$\dfrac{4}{16}$	$\dfrac{6}{16}$	$\dfrac{4}{16}$	$\dfrac{2}{16}$	$1$

 

그러면 왜 $n-1$로 나누는가? 하는 질문이 당연히 생길 것입니다.

 

간단히 말하면, 오차를 줄이기 위함입니다. 앞전의 접은 글을 보신 분을 아시겠지만, 우리의 궁극적인 목표는 표본의 통계량인 추정량을 통해 모집단의 통계량인 모수를 추정하는 것입니다. 이를 위해서는 여러가지 조건이 필요하지만, 그 중 하나가 불편성(Unbiasedness)이라는 것으로 추정량의 기댓값이 모수가 된다는 것입니다.

즉, 이를 만족시키기 위해 $n-1$로 나눈 것입니다.

 

수학적인 증명을 원하시는 분들을 위해 아래에 증명을 남겨두었습니다.

불편성을 만족하려면 $\mathrm{E}(s^2) = \sigma^2$ 이어야 하므로, 일단은 $s^2 = \dfrac{ \sum_{i=1}^n (X_i - \overline{X})^2}{n-1}$라고 합시다.

$$\mathrm{E}(s^2) = \mathrm{E} \left( \dfrac{ \sum_{i=1}^n (X_i - \overline{X})^2}{n-1} \right) = \mathrm{E}\left( \frac{1}{n-1} \sum_{i=1}^n \left(X_i ^2 - 2 X_i \overline{X} + \overline{X}^2 \right) \right)$$

 

식을 살짝 변형하여 $2X_i \overline{X} = 2n \times \dfrac{X_i}{n} \overline{X}$로 합시다. $\displaystyle\sum_{i=1}^n \dfrac{X_i}{n} = \overline{X}$이므로, 식을 정리하면

$$\mathrm{E}\left( \frac{1}{n-1} \sum_{i=1}^n \left(X_i ^2 - 2 X_i \overline{X} + \overline{X}^2 \right) \right) = \mathrm{E}\left( \frac{1}{n-1} \sum_{i=1}^n \left(X_i ^2 - 2n \frac{X_i}{n} \overline{X} + \overline{X}^2 \right) \right)$$ $$= \mathrm{E}\left( \frac{1}{n-1} \sum_{i=1}^{n} \left( X_i ^2 - n \overline{X}^2 \right) \right)$$

 

여기서 $\mathrm{E}$와 $\sum$은 모두 선형 연산자이므로 다음과 같이 쓸 수 있습니다. 

$$\frac{1}{n-1} \sum_{i=1}^n \left( \mathrm{E}\left(X_i^2\right) - n \mathrm{E} \left( \overline{X}^2 \right) \right)$$

 

이때, $\mathrm{E}(X_i^2) = \left(\mathrm{E}(X_i)\right)^2 + \mathrm{V}(X_i)$이므로 식은 다음과 같아집니다.

$$\frac{1}{n-1} \left( n(\mu^2 + \sigma ^2) - n\left(\mu^2 + \frac{\sigma^2}{n}\right) \right) = \frac{1}{n-1} \left( n^2 \sigma^2 - \sigma^2 \right)$$

 

이를 계산하면 $\dfrac{n-1}{n-1}\sigma^2 = \sigma^2$이므로, $n-1$로 나누어야지 불편성을 만족하는 좋은 추정량이 됨을 알 수 있습니다.

 

 

마치며

사실, 이 글을 쓰게 된 계기는 저도 표본에 대한 이해가 부족하였기 때문입니다. 따라서, 한 번 잘 이해해보려 열심히 자료도 참고하고, 여러분들에게 자문을 구하니 이제는 조금 잘 알 것 같은 느낌이 듭니다. 고등학교 수학에서는 이렇게 설명해주지는 않습니다. 최대한 쉽고 정확하고, 나아가 조금 더 심화적으로 설명하고자 노력하였습니다. 통계 쪽에 관심이 있는 학생들에게 큰 도움이 되길 바랍니다. 끝으로, 이러한 심화적인 내용을 수업하신 훌륭한 수학선생님께 감사를 드리며 이 글을 마치겠습니다. 읽어주셔서 감사합니다.