> For the complete documentation index, see [llms.txt](https://ykkim.gitbook.io/wiki/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://ykkim.gitbook.io/wiki/machine-learning/probability-and-statistics-for-machine-learning/probabilistic-prediction.md). # Probabilistic Prediction ## Probabilistic Prediction * 미래에 일어날 일에 확률을 설정한 prediction, probabilistic forecasting이라고도 함 * Example) prediction이 "내일 비가 온다"라고 한다면 probabilistic prediction은 "내일 비가 올 확률이 60%이다"라고 말하는 것 ## Words of estimation probability (WEP) * WEP prediction: "내일 비가 올 것 같다"처럼 불확실성이 내포된 표현 * WEP는 수치로 변환하는 기준이 없음 ## Odds * 사건의 odds는 다음과 같이 정의됨 $$ O(E) = {{P(E)} \over {P(E^c )}} $$ * 보통 E와 not E를 비교함 * A와 B를 비교할 수도 있음( = P(A) / P(B) ) * Bayesian 관점의 odds: 주어진 데이터 D에 대한 hypothesis H의 odds ## Bayes factors $$ \eqalign{ & O(M|F) = {{P(F|M)} \over {P(F|M^c )}} \cdot {{P(M)} \over {P(M^c )}} \cr & = {{P(F|M)} \over {P(F|M^c )}} \cdot O(M) \cr} $$ P(M) = Marfan disease에 걸렸을 확률 P(F) = 증상(features)이 나타날 확률 * posterior odds = Bayes factor \* prior odds * Bayes factor란 likelihood의 비율을 의미함 * Bayes factor는 데이터에 의해 제공된 'evidence'의 강도를 나타냄 * Bayes factor가 크더라도 prior odds가 작으면 odds가 작을 수도 있음 Example) 전체 인구의 0.005의 확률로 질병이 발병한다. 선별 검사 결과 false positive는 0.05, false negative는 0.02이다. 1. 질병의 prior odds는? $$ \eqalign{ & Let,H\_ + = 'has,disease',and,H\_ - = 'doesn't' \cr & Let,T\_ + = positive,test \cr & O(H\_ + ) = {{P(H\_ + )} \over {P(H\_ - )}} = {{0.005} \over {0.995}} = 0.00503 \cr} $$ likelihood table: ![](/files/SFHkoDDsuZ3EHG3G9wrZ) 1. 이 데이터에서 Bayes factor는? Bayes factor = ratio of likelihoods $$ \= {{P(T\_ + |H\_ + )} \over {P(T\_ + |H\_ - )}} = {{0.98} \over {0.05}} = 19.6 $$ 2. posterior odds는? \= Bayes factor \* prior odds = 19.6 \* 0.00504 = 0.00985 3. 1과 2의 답변에 근거하여 positive test(해당 검사)가 제공하는 evidence가 강한지 약한지 구분할 수 있음? 구분 가능함. bayes factor가 19.6으로 환자가 병에 걸렸는지에 대한 강한 evidence를 나타냄. 아래와 같이 bayesian update table로도 나타낼 수 있음