데이터 분석 일지

1. Birthday Problem 문제는 아주 간단하다. k명의 사람이 있을 때, 두 명의 생일이 같을 확률을 구하는 문제이다. 여기서는 최소한 두 명의 생일이 같을 확률을 구할 것이다. 몇 명의 사람이 있어야 최소한 50%의 확률로 두 명의 사람의 생일이 같을 수 있을지 알아보자.  일반적으로 k명의 사람 중 두 명의 생일이 같을 확률을 구해야 한다. 2월 29일은 다른 날짜에 비해 확률이 낮다. 편의를 위해 1년은 365일로 가정하고 문제를 푼다. 그리고 365일이 모두 동일한 확률을 가진다고 가정한다.  k > 365 먼저 k가 365보다 클 때를 가정해보자. 이때 확률은 1일 것이다. 왜냐하면 365명보다 많은 사람이 있지만 생일이 될 수 있는 날짜는 365개뿐이기 때문이다. 무조건 한 쌍 이상..

0. Introduction 강의를 시작하기 앞서 몇 가지 조언을 해주신다. 요약하면 다음과 같다.  Don't lose common sense 강의가 진행될 수록 상식에서 벗어나고, 직관적이지 못한 결과를 자주 얻게 될 것이다. 직관적이지 않은 문제를 다룬다고 해서 상식을 아예 벗어나라는 것은 아니라는 것이다. 또, 답안을 쓸 때에 합리적인 이유가 있어야 한다. 예를 들어서 52개 중에서 5개를 선택하는 경우의 수를 구할 때, 이것을 (52, 5)로 둬도 괜찮다는 것이다. 교수님은 이를 '설명이 필요 없는 주석'이라고 부르신다. 이렇게 하면 말 그대로 답안에 대한 설명 없이도 설명이 된다는 것이다.  Do check answers 자신이 푼 풀이를 반복하라는 것이 아니라, 다른 방법으로 답을 확인하라는..

0. Introduction 지난 시간에는 간단하게 물리와 양자 역학이 모두 확률 문제라고 이야기 했다. 유전학도 확률 없이는 불가능하다. 이런 과학 뿐만 아니라 경제학이나 게임 이론 등도 확률 문제이다. 심지어 역사나 정치에서도 확률을 사용한다. 이처럼 여러 학문에서 확률과 통계를 응용하는 사례가 늘어나고 있다.  Joe Blitzstein 교수님은 확률은 도박에서부터 시작된 것이라고 말한다. 도박은 확률론, 통계학에 있어 굉장히 친숙한 예시가 된다. 주사위나 카드, 동전과 같은 것들이 도박에서 사용되는 것으로, 우리는 이런 도구를 활용해서 푸는 확률과 통계 문제를 많이 접해왔다.  또 교수님은 통계학은 불확실성의 논리라고 말한다. 모든 것은 불확실성을 가진다. 따라서 확률과 통계는 우리의 생각을 어떠..

1. 추정의 개요 추정은 모집단에서 추출된 표본의 통계를 통하여 모수를 추측하는 것이다. 여기서 모수를 θ라고 표현하고, 추정값은 θ_hat이라고 표현한다. 1. 1. 종류 추정은 점추정과 구간추정으로 나누어볼 수 있다. 먼저 점추정은 모수를 한 값으로 추정하는 것으로, [A의 지지율이 40%이다]라고 표현하는 것과 같다. 구간추정은 모수를 구간으로 추정하는 것으로, [A의 지지율은 37 ~ 43%이다]라고 표현하는 것과 같다. 추가적으로 점추정은 아래와 같이 추정한다. 모수 θ를 한 값 θ_hat으로 추정 모평균 μ를 표본평균 X_bar로 추정 모분산 σ^2을 표본분산 S^2로 추정 모비율 p를 표본비율 p_hat으로 추정 2. 점추정 모수는 하나의 값이지만 점추정량은 표본의 집합을 여러 경우의 수로 ..

0. 용어 정리 아래는 가설 검정에 대해 설명하기 전 알아야 할 기본 개념들을 설명한다. 모집단(population): 연구나 조사의 대상이 되는 전체 집단이나 집합 모수(parameter): 모집단의 특성을 나타내는 수치적 값 (모평균, 모분산, 모비율 등) 표본(sample): 모집단에서 무작위로 선택된 일부 개체나 단위의 집합 가설(hypothesis): 모수에 대한 주장 (귀무가설, 대립가설) 위 기본 개념을 토대로 가설 검정을 설명한다. 1. 가설 검정의 개요 먼저 모수에 대한 주장을 가설로 세운다. 이 가설이 타당한지에 대해 검정하는 것을 가설 검정이라고 한다. 이는 연구 결과를 통계적으로 평가하고, 특히 표본을 사용하여 모집단에 대한 일반적인 판단을 내리는 데 사용된다. 1. 1. 예시 여론..