통계랑 '2일'째: 기초확률론 1

그림출처 : http://www.brightpips.com/wp-content/uploads/2014/05/study-probability-with-two-dice-and-a-spreadsheet.jpg

Let’s go!

두근두근 본격적으로 통계랑 첫 데이트를 하게 됐습니다. 이성친구의 마음을 얻으려면 무엇부터 해야 할까요? 너는 어떤 음식을 좋아해? 좋아하는 음악은 뭐니?…. 등등 식상하지만 간단한 질문을 던지는 것으로 시작하죠~ 그렇습니다. 통계와의 애정이 깊어지려면 우리가 초등학교 때부터 지금까지 식상할 정도로 봐온 간단한 개념, 바로 ‘확률’을 제대로 이해해야 합니다. 사실 이성친구에게 저런 간단한 질문들이 큰 임팩트는 없는 만큼….ㅠㅠ ‘확률’이 정확히 무엇인지 아는 것은 사실 통계학 문제를 풀거나, 어느 정도 활용하는 데까지는 그다지 중요하지 않을 수 있습니다. 하지만, 무수히 많은 상황에서 확률을 제대로 계산해내고, 학문적 의미를 이해하기 위해 ‘확률’이 정확히 무엇인지 아는 것은 가히 기초 중의 기초라고 할 수 있습니다.

오늘은 바로 기초확률론을 공부합니다! 기초확률론은 2회에 걸쳐 나누어 진행될 예정입니다. 오늘은 확률론에 통용되는 기초 개념과 확률의 정의를 공부하고 다음에는 확률 공식, 조건부확률과 전확률, 표본공간과 사건 그리고 확률변수의 관계에 관해 공부합니다.

1. 확률론에 통용되는 기초 개념

별거 아닌 것만 같은 확률! 그러나 아직까지도 통계학은 확률의 정의를 두고 분파가 나뉘기도 하며 주식시장과 같은 경우에 어떻게 의사결정을 할 것인가를 두고 그 접근방식을 극명하게 나누는 기준이 되기도 합니다.

확률의 정의를 알아보기에 앞서 먼저 기본적인 용어를 알아야겠죠? 많지 않습니다. 여러분은 딱 두!가!지!만 기억하시면 됩니다ㅎㅎ 진짜로 딱 두 가지입니다. 그리고 영어까지 써드리는 것은 원서 속에서 헤맬 여러분들의 미래를 위한ㅠㅠ 것입니다. 부담 갖지 않으셔도 됩니다!!

1.1. 표본공간(Sample space) S
표본공간은 딱딱한 말로 하자면, ‘통계적 조사에서 얻을 수 있는 모든 가능한 결과들의 전체 집합’입니다. 영어로는 ‘The set of possible outcomes’라고 돼 있는데, 한마디로 가능한 모든 수입니다. 한 상황에 대해 우리가 생각해볼 수 있는 모든 결과, 그것을 표본공간이라고 합니다. 표본공간은 집합입니다. 그래서 중학교 1학년 때 배운 집합처럼, {a,b,c,…}이런 식으로 쉽게 쓸 수 있습니다. 흔히 앞 글자를 따 S라고 표기합니다. 그럼 S={A,B,C}와 같이 쓰면 우리는 표본공간을 표기한 겁니다! 그러면 표본공간이라는 집합의 각 원소는 바로 각각의 경우가 되겠죠!

여기서 중요한 것은 표본공간의 원소들은 절대 숫자가 될 필요가 없습니다 그것이 숫자이든, 그냥 어떤 상황이든 괜찮습니다. 중국집 메뉴가 표본공간이고 그 원소로 짜장면, 짬뽕, 볶음밥이 있어도 좋습니다. 또한, 집합이어도 됩니다 즉, 롯데리아 음식 주문이 표본공간일때 {치즈맛 스프, 후렌치후라이}도 원소가 될 수 있다는 뜻입니다! 어찌보면 당연하죠?

1.2. 사건(Event) E
사건은 위의 표본공간을 이해하시면 쉽게 생각할 수 있습니다. 그냥 표본공간의 부분집합이 사건입니다! 무슨 뜻이냐면, 이를테면 주사위를 던지는 경우에 나오는 숫자는 1,2,3,4,5,6이 있죠? 이때 전체 경우는 1,2,3,4,5,6입니다. 따라서 표본공간은 {1,2,3,4,5,6}이 되고요. 근데 이 때 나는 홀수가 나왔으면 좋겠다고 생각한다면, 홀수가 나오는 사건은 {1,3,5}가 됩니다. 6이 나왔으면 좋겠다! 6이 나오는 사건은 {6}이 되고요. 사건 역시 수학적으로 집!합!이고 저렇게 괄호까지 표시해줘야 합니다.

*특별히 원소가 1개인 사건은 근원사건이라고 부르기도 하는데 안 중요해요ㅎㅎ

1.3. 표본공간과 사건의 예
경품 행사를 생각해봅시다. 경품은 1등 아이폰, 2등 문화상품권, 3등 머그컵, 나머지 꽝이라고 할게요!

1.3.1. 행사에 한 번 참가했을 때의 경우
우리는 경품 행사에 한 번 참가했을 때 받을 수 있는 경품에 대해 관심이 있다고 합시다. 이 때, 표본공간은 {아이폰, 문화상품권, 머그컵, 꽝}이 됩니다. 이 때 나는 1등경품을 받는 사건이 궁금하다! {아이폰}이 되겠죠?

1.3.2. 행사에 두 번 참가했을 때의 경우
경품 행사에 두 번 참가하면 기회가 두 번 있습니다. 그러면 당연히 경품을 받는 경우의 수가 많아지겠죠? 이 때 표본공간은 {{아이폰, 문화상품권},{아이폰,머그컵},{아이폰,꽝},{문화상품권,머그컵},{문화상품권,꽝},{머그컵,꽝},{아이폰},{문화상품권},{머그컵},{꽝}}이 됩니다!(후 타이핑 힘들다 ㅋㅋ) 어? 그런데 왜 {문화상품권, 아이폰}은 없지? 라고 생각하실 수 있어요. 근데 이건 무엇에 관심을 두냐!에 따라 다릅니다. 만약 첫 번째에 무엇을 뽑고, 두 번째에 무엇을 뽑든 상관없이 결국 무엇을 받았는지가 궁금하다! 하면 위와 같이 쓰면 됩니다. 그런데 첫 번째에는 무엇을 뽑았고 두 번째에는 무엇을 뽑았는지도 구체적으로 중요하다! 하면 순서가 바뀐 것도 표기해주시면 됩니다.

참고 이 때 {a,b}와 (a,b)는 수학적으로 쓰임이 다른데, {a,b}와 {b,a}는 둘 다 수학적으로 같은 집합입니다. 즉 순서가 상관없는 경우에 주로 사용하고요! (a,b)는 순서쌍으로, (b,a)와 다릅니다. 순서가 다르다고 보는 거죠. 즉, 위에서 순서가 중요하다면 {아이폰, 문화상품권}과 {문화상품권, 아이폰} 이렇게 쓰는 것 보다는 (아이폰, 문화상품권),(문화상품권,아이폰) 이렇게 써주는 것이 더욱더욱더욱 좋습니다.(사실 무조건 그래야 합니다.)

2. 확률의 정의

사실 이 말을 쓸까 말까 고민이 됩니다. 통계학을 처음 배우는 데 헷갈리게 베이지안 이런거 말해도 되는지!!!!!!!!!! 하지만 지적 호기심이 풍부한 여러분을 위해서 간략히 언급하고자 합니다. (관심이 없으시다면 Frequentist니 Bayesian이니 하는 부분은 과감히 스킵하셔도 좋습니다.)

통계학은 크게 두 가지 학파로 나뉩니다. Frequentist와 Bayesian이 바로 그것입니다. 이름에서도 예상할 수 있는 Frequentist들은 빈도주의를 추구하며 우리가 흔히 접하는 확률과 통계가 이들에 의해 정립된 이론입니다. 반면 Bayesian은 무어랄까 범상치 않습니다. 쉽게 예를 들어 설명해드리겠습니다.

누군가에게 동전을 던졌을 때 앞면이 나올 확률은? 이라고 질문하면 거진 대부분은 1/2이라고 대답할 것입니다. 이것이 바로 Frequentist의 관점입니다. 앞으로 설명할 확률의 정의에 따라 앞면이 나올 확률은 1/2라고 논리적으로 귀결시키죠.

하지만 Bayesian은 대답이 제각각입니다. 누군가는 0.49다 또 누구는 0.53이다,… 그 이유는 무엇일까요? 바로 Bayesian은 확률은 축적된 배경지식에 의해 변할 수 있다고 생각합니다. 즉 이런 것이죠. 동전을 던졌을 때 앞면이 나올 확률을 ‘내가 지금까지 관찰한 동전 던지기 결과를 고려해볼 때 앞면이 나올 확률’이라고 생각합니다. 앞으로 배울 조건부확률(Conditional Probability)의 개념을 도입한 것이죠.

그렇기 때문에 확률의 정의도 두 관점에 따라 두 가지로 나뉩니다. Bayesian은 난해하지만 뭐 괜찮습니다. Bayesian은 통계학과에서도 관심 있는 학생들만 배우는 어려운 분파이기 때문이죠!! 우선은 Frequentist의 관점만 견지해보기로 합시다. 앞으로 따로 언급하지 않는 한, Bayesian의 관점은 등장하지 않을 것입니다.

2.1. Frequentist의 정의

2.1.1. 확률의 고전적 정의
여기서부터 이해가 잘 되지 않는다면 스크롤을 올려 표본공간과 사건을 더 확실히 이해해보기!!!!!!!!

맨 처음, 사람들은 확률을 어떻게 정의했을까요? 유럽의 저명한 아저씨 수학자 라플라스는 확률을 이렇게 정의했습니다. N개의 원소로 구성된 표본공간 S가 있다고 합시다. 이 때 각각의 원소(근원사건)가 일어날 가능성이 모두 같다고 가정할 수 있을 때, n개의 원소로 구성된 사건 A가 일어날 확률은 다음과 같습니다.

$${P = n/N}$$

후... 뭔소리죠? ㅋㅋㅋㅋㅋ 근데 사실 별!게! 아닙니다. 예를 들어 생각해보죠. 아까 1.3.1.에서 경품 행사에서의 표본공간과 사건을 예시적으로 알아봤죠? 다시 한번 그것을 가져와봅시다. 표본공간은 {아이폰, 문화상품권, 머그컵, 꽝} 이었죠. 1등 경품의 사건은 {아이폰} 였구요. 이 때 확률의 고전적 정의는 아이폰, 문화상품권, 머그컵, 꽝이 뽑힐 확률이 모두 서로 같다는 것입니다. 1등부터 4등까지 뽑힐 확률이 모두 같다는 말도 안 되는 가정! 아무튼…. 1등 경품의 사건은 {아이폰}으로 근원사건 {아이폰}으로 구성됐죠! 이 때 1등 경품을 뽑을 확률은 1/4가 되는 것입니다. 이제 이해가 되시나요?

그런데 사실 1등부터 4등까지 뽑힐 확률이 어떻게 같나요… 이외에도 단순히 이러한 기준을 가지고 확률을 계산한다면, 효과적이지 못하겠죠? 왜냐하면 근원사건이 일어날 가능성이 모두 같기는 힘드니까요. 또, 중요한 것은 조사 대상이 무한한 경우는 생각하지 않고 있죠? 이렇게 1)근원사건의 일어날 가능성이 모두 같기 힘들다 2)조사 대상이 유한한 경우에만 한정하고 있다 라는 두! 가지 측면에서 확률의 고전적 정의는 한계에 부딪힙니다.

2.1.2. 확률의 공리적 정의
라플라스가 제안한 고전적 정의가 한계에 이르자, 또다른 저명한 아저씨 수학자 콜모고로프는 뭔가 더 유용한 정의를 제안합니다. 여러분들 보통 확률을 어떻게 떠올리죠? 확률이라는 말이 딱딱하다면 쉽게 가능성이라고 생각해봅시다. 월요일 아침 쏟아지는 졸음에 아침 수업이 가기 싫어진 우리는… 곰곰이 생각해봅니다. ‘오늘 교수님이 출석 체크하실 가능성이 어느 정도 될까…?’ 이 때 우리는 지금까지 10번 수업 중에 4번 출석 체크를 하셨으니까 대충 40% 되겠다… 아 불안ㅠㅠㅠ 이렇게 생각하죠? 이게 무엇인가요. 바로 중학교 수학시간에 배운 상대도수입니다. 그리고 10번 수업이 아니라 100번 수업을 하고, 1000번 수업을 하면(물론 그렇진 않지만) 그 중 출석 체크를 한 횟수를 생각해보아 가능성 내지 확률을 떠올리는 것은 상당히 합리적이죠. 이것이 바로 콜모고로프의 확률의 공리적 정의입니다! 바로 상대도수의 극.한. 말입니다.
이를 위해 콜모고로프는 다음의 세 가지 규칙을 세웁니다.

1)표본공간 S에서 임의의 사건 A에 대해 $$0\leq{P(A)}\leq1$$
2) $${P(S)}=1$$
3)서로 상호배반인 사건 A, B, …에 대해 $${P(}A\cup{B}\cup\dots{)}={P(A)}+{P(B)}+\dots$$

이 세 가지 조건을 만족하는 사상 P를 확률이라고 정의합니다. 사상? 왠 사상… 정치학 시간인가… 사상(mapping)은 쉽게 함수라고 생각하시면 됩니다!

1),2)는 상당히 직관적입니다. 확률을 흔히 0이상 1이하로 표현하고, 또 표본공간 S가 가능한 모든 수였으니까 가능한 모든 수의 확률은 당연히 1이겠죠!

그런데 3)은 새로운 용어 ‘배반’이 등장하는 데, 배신했다 이런게 아니고… 교집합이 공집합이라는 뜻입니다! 즉, A와 B가 배반사건(exclusive)이라는 뜻은 A가 일어났다면 절대 B가 일어날리 없고, B가 일어났다면 절대 A가 일어날리 없다는 뜻입니다. 한마디로 동시에 A와 B를 관찰할 수 없다는 말이쥬~ 참 쉽지유~?

$${A}\cap{B}=\phi$$

결국 3)은 동시에 일어날리 없는 두 사건 중 적어도 하나(합집합의 개념이죠)가 일어날 사건은 두 사건이 일어날 확률은 더한 게 된다는 뜻입니다.
참고 배반(exclusive)와 상호배반(mutually exclusive)은 서로 다릅니다. 배반은 ‘두’, ‘두’!!!!!사건 간의 배반의 성질을 말하고 상호배반은 여러 개!!!!!의 사건이 있을 때 어떤 두 개를 골라도 서로 배반의 성질을 가지고 있을 때를 말합니다. 확률의 공리적 정의 3)의 조건은 바로 모든 사건끼리 배반인 경우, 즉 상호배반인 경우를 말하는 겁니다.

2.1.3. 보론: 배반과 독립의 차이
우리는 확률과 통계를 공부할 때 배반과 독립을 흔히 헷갈리곤 합니다. 배반은 위에서 설명했듯 동시에 일어날리 없는 사건입니다. 비유하자면, 서로 원수지간인 친구라고 할까요?
반면 독립은 서로 모르는 친구입니다. 쟤가 뭘 하든 말든 자기는 상관없다 이겁니다. 이에 따라 확률의 곱셈법칙이 성립하는 경우, 조건부확률과 그냥 확률이 같은 경우에 해당하는 데 이는 다음 시간에 공부해봐요!

2.2. Bayesian의 정의(심화)
무언가 Frequentist의 정의만 해도 지치셨을 것이라 생각합니다. Bayesian의 정의는 사실 대학교 4년 내내 접하지 못할 공산이 큽니다…(아, 서울대학교 산업공학과 친구들은 종종 보게 되겠군요ㅎㅎ) 그래서 간단히 컨셉만 언급만 하고 넘어가고자 합니다.

Frequentist들은 그 이름에서도 알 수 있듯이 Frequency, 즉 빈도를 중시합니다. 상대도수의 극한으로 확률을 정의했던 공리적 정의에서도 알 수 있듯 Frequency, 빈도가 키워드입니다.

반면 Bayesian은 plausibility에서 출발합니다. 저게 뭔 단어냐… 첨 보는데… plausibility는 가능성이라는 probability보다 포괄적인 개념입니다. 즉, ‘그럴듯함’을 표현합니다. 그럴 듯 하다.. 그럴 듯 하다… 뭔가 더 와 닿죠? 그런데 이걸 어떻게 확률로 수치화를 시킬 것이냐? 선뜻 떠오르지 않죠.

우선 우리가 고등학교 1학년 수학 집합과 명제 단원으로 돌아가 봅시다. A이면 B이다. A->B의 역, 이, 대우 뭐 이런 것들 있었잖아요! 우리는 여기서 바로 두 가지 statement를 뽑아낼 수 있습니다.

1)A->B(A이면 B이다.)가 참일 때, A가 참이면 B가 참이다.
2)A->B가 참일 때, B가 거짓이면 A가 거짓이다.

1)은 너무 당연하고, 2)는 우리가 배운 대우 명제가 참이다 이죠! 이 두 가지 statement는 너무 명백합니다. 논리적으로 흠이 없죠.
반면 다음의 세 가지 statement는 우리의 common sense(상식)에는 부합하나 논리적으로는 옳지 않은 것입니다.

3)A->B가 참일 때, B가 참이면 A는 더욱 그럴싸하다.(more plausible 하다.)
4)A->B가 참일 때, A가 거짓이면 B는 덜 그럴싸하다.(less plausible 하다.)
5)A가 참일 때 B가 더욱 그럴싸한 것이(more plausible) 참이라면, B가 참일 때 A는 더욱 그럴싸하다.(more plausible)

처음보시겠죠? 그러나 사실 너무 직관적인 statement들입니다. 어떤 친구가 직전 시험까지 전교 1등이라고 합시다. 요번 시험의 전교 1등은 누굴까 라고 물으면? 모두들 그 친구를 먼저 떠올리겠죠. 물론 그 친구가 전교 1등이라는 논리적 근거는 없습니다. 하지만 그 친구가 전교 1등인 것이 제일 그럴싸하죠. 바로 이것이 3), 4), 5)의 statement입니다.

이렇게 Bayesian은 1)하나의 경우에는 한 가지 값에 대응된다. 2)common sense(상식)에 부합한다. 3)consistency, 즉 이론 전개에 있어 일관성을 가진다. 의 세 가지 가정, 수학계로서는 받아들일 수 없는 common sense의 가정을 포함시켜 확률을 정의합니다. 1)과 2)를 가지고 우리가 흔히, 그리고 당연하게 알고 있는 곱셈 법칙과 덧셈 법칙을 유도하고 maximum entropy 등의 가정으로 3)을 만족시켜 결국 확률이라는 하나의 개념을 유도해냅니다.

이렇게 알아만 두시면 좋을 것 같습니다 ㅎㅎ 혹시 궁금하신 분이 계셔서 요청을 해주신다면 보론으로 따로 포스팅하도록 하겠습니다!

3. 수고하셨습니다!

으 갑자기 분량이 5배 가까이 늘었죠 ㅋㅋㅋ 사실 더 진도를 뺄 생각이었는 데 쓰다 보니….하하 이것이 통계에 대한 애정일까요? 아무쪼록 오늘 배운 내용은 초반에 말씀드렸듯이 그다지 문.제.푸는 데는… 중요하지 않아요. 하지만 방대한 통계학을 이해하려면 쉬운 듯 보이는 기초를 탄탄하게 잡고 넘어가야 합니다! 그래서 다소 지루할 수 있지만, 애정을 가지고 꼼꼼히 공부하신 뒤, 다음 단계로 넘어가주셨으면 하는 바람입니다 ㅎㅎㅎ

이렇게 통계와의 첫 데이트가… 아 이 컨셉 상당히 오글거린다 ㅠㅠ 마무리됐습니다. 다음 데이트는 덧셈 법칙이나 곱셈 법칙 등의 기본적인 확률 공식, 그리고 쉬운 듯 쉽지 않은 조건부 확률 그리고 이러한 개념들로부터 확률변수가 정의되는 논리 흐름과 함께 할 것입니다! 아직 통계가 많이 튕기네요… 그래서 재미는 없습니다 ㅠ 그 구체적인 내용은 과연? 60초 아니 7일 후에 공개됩니다. 스테멘토사수!!! 감사합니다.