[4장]ISL with R : QDA(이차판별분석)

선형판별분석(LDA: Linear Discriminant Analysis)과 이차판별분석(QDA: Quadratic Discriminant Analysis)

LDA는 먼저 클래스 간의 분포가 정규분포를 따르며, 각 클래스가 다른 평균 동일한 분산을 가질 때 독립변수(x)를 여러 클래스(k 개의 클래스) 중 어디에 속하는지를 판별하는 방식이었다. 여기에서 각 클래스의 분산이 다를 수도 있다는 가정을 추가한 것이 QDA이다.

QDA의 판별함수 도출(p>1인 경우)

QDA의 판별함수를 계산할 때는 LDA의 판별함수 계산과정에서 "각 클래스별 다른 공분산 행렬"이라는 가정만 추가해 주면 된다.([4장]ISL with R : LDA(선형판별분석) 참조 )

QDA도 LDA와 마찬가지로 아래와 같은 베이즈 정리에서 시작한다.

식1: 베이즈 정리(위키피디아 https://ko.wikipedia.org/wiki/%EB%B2%A0%EC%9D%B4%EC%A6%88_%EC%A0%95%EB%A6%AC 23.07.19 AM0740 인용)

우리가 구하고자 하는 값은 "확률변수 X가 x 일 때, k라는 클래스에 속하는 확률"인 아래 식 2와 같은 사후확률이다.

식2: 사후확률 정의

베이즈 정리를 통해서 식 2를 "k 라는 클래스가 나올 확률 * k 클래스일 때 확률변수 X가 x일 확률(사전확률) / x 가 특정 클래스에 속할 모든 확률"로 바꿔 쓸 수 있다. 이때 k 클래스일 때 확률변수 X가 x일 확률인 사전확률은 아래 식 3과 같다.

식3: 사전확률 정의

데이터의 분포는 정규분포를 따르고 각 클래스의 평균과 공분산 행렬이 다르다는 가정을 통해 사전확률을 아래와 같이 정의할 수 있다. 아래 식 4에서도 알 수 있듯이 LDA와 다른 점은 단순히 공분산 행렬에 클래스별 구분이 들어갔다는 점이다. 

식4: QDA 가정하의 사전확률 식

식 4를 바탕으로 아래와 같은 사후확률을 구할 수 있다.

식5: QDA 사후확률 식

식 5의 사후확률을 정리하면 판별함수(델타_k) 를 도출할 수 있다. LDA와 다른 점은 클래스별 공분산 행렬이 같다는 가정하에 상수로 처리되던 부분이 가정이 달라지면서 더 이상 상수가 아니게 된다는 점이다.

식6: 판별함수의 도출