[4장]ISL with R : 로지스틱 회귀(회귀계수의 계산2: 최적해 도출)

경사하강법을 통한 회귀계수 찾기

[4장]ISL with R : 로지스틱 회귀(회귀계수의 계산1: 우도함수와 경사하강법)에서 우리는 아래 식과 같은 로그우도함수의 미분값(경사)을 구했다.

식1: 로그우도함수의 미분값(경사)

이제 b_j 회귀계수를 조금씩 늘려나가면서 최적의 경사를 찾으면 된다. 아래 그림 1과 같은 과정을 거치는 것이다. 여기서 경사값이 더 이상 줄거나 늘지 않는 상태를 만드는 b_j 계수 값이 최적값이 된다.

그림 1: 경사하강법의 최적해 도출과정

경사하강법에서 b_j 계수의 초기값은 보통 0으로 설정한다. 0부터 b_j 값을 조금씩 늘려나가면서 최적의 경사를 찾게 되는데 이 "조금씩"을 학습률(Learning rate)이라고 한다. 위 그림 1의 화살표의 크기를 뜻한다고 보면 된다. 위 그림 1의 화살표의 크기가 너무 크면 최적값을 지나칠 수도 있고, 너무 작으면 계산량이 너무 많아진다. 결론적으로 최적의 b_j는 아래와 같은 일반화된 식을 통해서 찾아나갈 수 있다.

식2: 최적의 계수 찾기

로지스틱 회귀모형의 분석: 오즈와 로짓

대부분의 개념서들이 로지스틱 회귀를 설명할 때 오드와 로짓에서 시작하지만 오드와 로짓은 로지스틱 회귀모형을 도출한 뒤 예측결과 분석에서 사용되는 개념들이다.

오즈(Odds)

오즈(Odds)는 로지스틱 함수를 아래와 같이 정리하면 구할 수 있다.

식3:오즈(Odds) 식

경사하강법을 통해서 회귀계수를 구해서 로지스틱 회귀함수를 완성했다면, x 라는 독립변수만 주어지면 오즈(Odds) 값은 쉽게 구할 수 있다. 중요한 것은 오즈(Odds) 값이 의미이다. 오즈(Odds) 값은 x라는 독립변수가 주어질 때 "사건이 일어날 확률 / 사건이 일어나지 않을 확률"이다. 오즈(Odds) 값이 1이라면 동전 던지기처럼 사건이 일어날 확률과 일어나지 않을 확률이 똑같은 것이다.

로짓(Logit)

오드의 양변에 로그를 씌워서 아래와 같은 식을 만들어서 분석하기도 한다. 이렇게 오드에 log를 씌운 것을 로짓이라고 한다. 

식4: 로짓(Logit) 식

가만히 있는 식에 굳이 로그를 씌우는 이유는 분류분석에서 해당 집단에 포함되는지 여부가 중요하기 때문에 로그를 씌워서 0보다 큰지 작은지를 보는 것이 조금 더 직관적이기도 하고(분자인 p(x)가 더 크면 log(1) 보다 크니까 로짓은 0보다 크다), 회귀계수 및 독립변수와 결과의 관계를 조금 더 직관적으로 파악할 수 있기 때문이다.