[4장]ISL with R : 로지스틱 회귀(로지스틱 함수)

분류 분석과 로지스틱 회귀 분석

ISL with R 4 장에서는 분류분석을 소개한다. 분류 분석은 다양한 독립변수들을 통해서 이 사람은 암이냐(1) 아니냐(0), 이 기업을 망할 것이냐(1) 아니냐를(0) 0 또는 1 값으로 분류해 내는 분석이다. ISL with R 3 장에서 배운 아래 선형회귀 식을 분류분석에서도 사용할 수 있을까?

식1: 선형회귀 분석 기본 식

위 선형회귀 분석 기본 식을 보면 Zi는 0 또는 1 값 외에 다양한 값을 가지기 때문에 분류분석에는 적합하지 않아 보인다. 하지만 분류분석의 가장 기초인 로지스틱 회귀 분석은 이 선형회귀 식을 로지스틱 함수에 넣어서 분류분석을 위한 도구로 만든다.

로지스틱 함수

로지스틱 함수는 시그모이드 함수의 한 종류인데, 대략적으로 아래 오른쪽 그림과 같이 S자 형태라는 것만 알면 된다. 아래 왼쪽 식의 x 값에 따라서 우측의 그래프 값이 0 또는 1로 극단적으로 나뉠 수 있다는 것이다.

그림1: 로지스틱 함수 기본형

로지스틱 회귀분석 기본 식

위 로지스틱 함수의 x 에 선형회귀 식을 넣으면 아래와 같은 로지스틱 회귀분석 기본 식이 나온다.

식2: 로지스틱 회귀분석

위 식을 통해 독립변수(x)를 통해서 나온 선형함수의 결과를 로지스틱 함수에 다시 넣어서 값을 얻는다. 따라서 x 가 커질수록 로지스틱 함수의 값은 1에 가까워지고 작을수록 0에 가까워진다. x 값을 통해 1 또는 0 집단으로 분류하는 상황이라면, 위 식 2의 해로 나온 0 ~ 1 사이의 값은 "x값에 따라 집단 1에 분류될 확률"이라고 해석할 수 있다.

결론적으로 x가 1에 분류될 확률을 결정하는 것은 선형함수의 결과이고, 선형함수의 결과는 선형계수가 결정한다. 로지스틱 회귀분석에서도 선형계수 구하는 것이 분석의 핵심이 되는 것이다.