Frequenist Methods

Frequentist school of statistics

Introduction

• 베이지안 통계 다음으로 등장한 통계학파

• 20세기에 지배적인 학파였음

• confidence intervals, p-values, t-test, x^2-test가 이에 해당됨

• 컴퓨터의 등장 이후로는 bayesian method가 가장 보편적인 방법이 됨

The fork in the road

• Bayesian inference: 지금까지 공부했던 방법

  • H가 hypothesis, D가 data

  • prior를 확실히 안다면 정확하게 작동함: 그러나 실제로 완벽한 prior는 없음

    -> Bayesian은 prior, Frequentist는 likelyhood func.을 사용함

What is probability?

• Frequentist

  • 고정 값을 가진 파라미터의 확률 분포를 무의미하다고 생각함, 가설에 대한 신뢰도를 정량화하기 위해 확률 사용을 거부함

    • ex) 동전을 던졌을 때 앞면이 나올 확률 1/2 -> 동전을 던지는 횟수가 무한대로 갈수록 1/2에 가까워짐

  • 가설이 주어진 데이터에 확률 분포(랜덤, 반복 가능, 실험적)를 적용함

• Bayesian

  • 고정된 파라미터에 대해 불완전한 지식을 설명하기 위해 확률을 사용함

  • 모든 것(가설, 데이터)에 확률 분포를 적용함

---

Null Hypothesis Significance Testing 1

Introduction

• Neyman-Pearson 패러다임을 주로 사용함

  • ex) 동전을 10번 던졌을 때 앞면이 나오는 횟수

  

Types of error

Composite hypothesis

ex) 동전을 던졌을 때 나올 수 있는 앞면의 개수의 평균

Null distribution:

High and low power test

• both standard normal

• High power: 높은 검정력

• Low power: 낮은 검정력

Designing a hypothesis test

• Pick the null hypothesis H0.

• Decide if HA is one-sided or two-sided

• Pick the test statistic.

  • ex) z-test, t-test, x^2-test

• Pick a significance level and determine the rejection region

  • ex) 0.1, 0.05, 0.001

• Determine the power

Critical values

ex) critical value = 0.05

p-values

• reject region의 면적

ex) IQ의 normal distribution = N(100, 15^2)

9명의 학생들의 평균 IQ가 112일 때 신뢰수준 0.05로 H0을 reject할 수 있는가?

reject H0

+예시