# Null Hypothesis Significance Testing

**Review: setting up and running a significance test**

Notes.

1. significance level을 사용하지 않고 rejection 영역을 사용해도 됨.
2. null hypothesis는 'cautious hypothesis'가 될 수도 있음. significance level이 낮을수록 가설을 reject하기 위해 더 많은 evidence가 필요하기 때문.
3.  key point of confusion:

    significance level = 0.05의 의미가 test에서 실수가 일어날 확률이 5%라는 의미 X

    H0이 참일 때 H0을 reject할 확률이라는 의미 O

    !! power of the test = HA가 참일 때 H0를 reject할 확률

    -> HA가 참일 때 H0을 reject하지 못할 확률 = 1 - power

Errors ![](https://3698175758-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MAwtzMy_pbrChIExFtN%2Fuploads%2Fgit-blob-d0bb1d08d2ef40585c5b0c85d39804c4f6e24513%2F18_1.png?alt=media)

#### T-test

* 많은 significance test는 데이터가 정규 분포에서 추출되었다고 가정하기 때문에 정규성 가정이 합리적인지 확인해야 함
* z-test와 마찬가지로 one sample과 two sample t-test는 정규성을 가정함

**Z-test**

Review

![](https://3698175758-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MAwtzMy_pbrChIExFtN%2Fuploads%2Fgit-blob-f005026b75fa934773f9d7098fc0c614a34f7414%2F18_2.png?alt=media)

Example)

데이터가

$$
data \sim N(\mu ,4^2 )
$$

를 따를 때

$$
\eqalign{ & H_0 :\mu = 0 \cr & H_A :\mu > 0 \cr}
$$

으로 가정함. 우리가 수집한 데이터가 1, 2, 3, 6, -1이라고 가정한다면 significance level이 0.05일때 H0를 reject해야 하는가?

Answer)

$$
\eqalign{ & \overline x = 2.2 \cr & z = {{\overline x - \mu _0 } \over {\sigma /\sqrt n }} = {{2.2 - 0} \over {2/\sqrt 5 }} = 2.460 \cr & p = P(Z > z) = P(Z > 2.460) = 0.007 \cr}
$$

p<0.05이기 때문에 H0를 reject해야한다

![](https://3698175758-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MAwtzMy_pbrChIExFtN%2Fuploads%2Fgit-blob-5f19a1715c5e5986ecf969cf2ff7276081d525e6%2F18_3.png?alt=media)

**The Student t distribution**

* 위키피디아 참고
* normal distribution처럼 대칭적이고 종 모양임
* 파라미터 df(degrees of freedom)에 따라 모양이 변함(df가 작을수록 꼬리가 두껍고 df가 클수록 ND에 가까워짐)
* t-distribution의 모양을 볼 수 있는 곳:http://mathlets.org/mathlets/t-distribution/

**One sample t-test**

* z-test는 분산을 안다고 가정하지만 실제로는 알 수 없는 경우가 많기 때문에 데이터에서 추정해야 함
  * 이런 경우에 one sample t-test를 사용함

![](https://3698175758-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MAwtzMy_pbrChIExFtN%2Fuploads%2Fgit-blob-4c68b37286d8af240efdeed884b85ea161b57edf%2F18_4.png?alt=media)

![](https://3698175758-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MAwtzMy_pbrChIExFtN%2Fuploads%2Fgit-blob-02a1fa6dcbe28693fdac3470e9829ffe6a54659c%2F18_5.png?alt=media)

example)

이전 예제에서 variance를 모른다고 가정함. 우리가 수집한 데이터는 1, 2, 3, 6, -1이고

$$
\eqalign{ & H_0 :\mu = 0 \cr & H_A :\mu > 0 \cr}
$$

이라고 가정함. significance level이 0.05일 때 H0을 reject해야 하는가?

![](https://3698175758-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MAwtzMy_pbrChIExFtN%2Fuploads%2Fgit-blob-1f8c15bc6f5be681b4aa2295e2e7dd61601ef284%2F18_6.png?alt=media)

**Two-sample t-test with equal variance**

*   Data: Normal distribution을 따르는 두 가지 데이터셋

    $$
    \eqalign{ & x_1 ,x_2 ,...,x_n \sim N(\mu _1 ,\sigma ^2 ) \cr & y_1 ,y_2 ,...,y_m \sim N(\mu _2 ,\sigma ^2 ) \cr}
    $$

    mean과 variance 둘 다 모르는 값이지만 같다고 추정
*   Null Hypothesis:

    $$
    \mu _1 = \mu _2
    $$
*   Test statistic:

    $$
    \eqalign{ & t = {{\overline x - \overline y } \over {s_p }} \cr & s_p ^2 = {{(n - 1)s_x ^2 + (m - 1)s_y ^2 } \over {n + m - 2}}\left( {{1 \over n} + {1 \over m}} \right) \cr & where\,s_p ^2 \,is\,the\,pooled\,variance \cr}
    $$
*   Null distribution:

    $$
    f\left( {t|H_0 } \right)\,is\,the\,pdf\,of\,T\sim t\left( {n + m - 2} \right).
    $$
* $$
  \eqalign{ & One - sided\,p - value\,\left( {right\,side} \right):\,\,p = P\left( {T > t|H_0 } \right) \cr & One - sided\,p - value\,\left( {left\,side} \right):\,\,p = P\left( {T < t|H_0 } \right) \cr & Two - sided\,p - value:\,\,p = P\left( {|T| > |t|} \right) \cr}
  $$

Note

1.  pooled variance를 다음과 같이 정의하는 저자도 있음

    <img src="https://3698175758-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MAwtzMy_pbrChIExFtN%2Fuploads%2Fgit-blob-35dbb2c9428085f40dc5978619bc072b4c375b4a%2F18_7.png?alt=media" alt="" data-size="original">

    이 수업에선 그것을 estimated variance of x-y라고 부름

    <img src="https://3698175758-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MAwtzMy_pbrChIExFtN%2Fuploads%2Fgit-blob-aabb65a824788aa33d1c37b2148184fd1085acac%2F18_8.png?alt=media" alt="" data-size="original">
2. 그룹간의 분산이 다른 two-sample test도 있음. 조금 더 복잡함

Example

산부인과에 온 여성 1408명의 임신 기간

*   검진 목적:

    $$
    775\,observation\,with\,\overline x _M = 39.08\,and\,s_M ^2 = 7.77
    $$
*   응급:

    $$
    633\,observation\,with\,\overline x _E = 39.6\,and\,s_E ^2 = 4.95
    $$

두 그룹의 평균이 다른지 two-sample t-test를 통해 조사하라

![](https://3698175758-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F-MAwtzMy_pbrChIExFtN%2Fuploads%2Fgit-blob-b0a26043e45bdbdaef1f1737e77b34aa3b769f24%2F18_9.png?alt=media)

t, z test 등등 테이블로 정리(언제 어떤 거 사용해야하는지)

one sample vs two
