# ML : Logical Regression - Hypothesis Representation

Logistic Regression

로지스틱 회귀(영어: logistic regression)는 D.R.Cox가 1958년^[1] 에 제안한 확률 모델로서 독립 변수의 선형 결합을 이용하여 사건의 발생 가능성을 예측하는데 사용되는 통계 기법이다.

로지스틱 회귀의 목적은 일반적인 회귀 분석의 목표와 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다. 이는 독립 변수의 선형 결합으로 종속 변수를 설명한다는 관점에서는 선형 회귀 분석과 유사하다. 하지만 로지스틱 회귀는 선형 회귀 분석과는 다르게 종속 변수가 범주형 데이터를 대상으로 하며 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 (classification) 기법으로도 볼 수 있다.

흔히 로지스틱 회귀는 종속변수가 이항형 문제(즉, 유효한 범주의 개수가 두개인 경우)를 지칭할 때 사용된다. 이외에, 두 개 이상의 범주를 가지는 문제가 대상인 경우엔 다항 로지스틱 회귀 (multinomial logistic regression) 또는 분화 로지스틱 회귀 (polytomous logistic regression)라고 하고 복수의 범주이면서 순서가 존재하면 서수 로지스틱 회귀 (ordinal logistic regression) 라고 한다.^[2] 로지스틱 회귀 분석은 의료, 통신, 데이터마이닝과 같은 다양한 분야에서 분류 및 예측을 위한 모델로서 폭넓게 사용되고 있다. (https://ko.wikipedia.org/wiki/로지스틱_회귀)

Machine Learning 관점으로 바라볼 때, Logistic Regression은 0 또는 1로 구분되어야 하는 Classification 환경(0<=h(x)<=1)에 효율적인 적용이 가능하도록 한다.

How can we adjust Logistic Regression to Hypothesis? 

위에 표시된 Sigmoid function은 오른쪽과 같이 S 모양을 한 그래프의 하나로, Logistic Regression은 Sigmoid function 중 하나라고 이해하면 된다.

(Sigmoid function: https://en.wikipedia.org/wiki/Sigmoid_function)

우리가 이미 알고있는 Linear Regression을 나타내는 h(x)가 g(z)와 일치한다고 할 때, z =  Transpose of theta * x를 Sigmoid function에 적용하면 다음과 같다.

그러면 결국 맨 아래에 있는 g(z)와 같은 공식이 만들어진다. 중요한 것은 g(z)는 Probability, 즉 확률이기 때문에 전체 확률의 합은 1이 된다. 이를 정리하면 다음과 같다.

P(확률의 정의)에 대한 내용은 중요한 것이 아니니 생략한다. 위 내용을 정리하면 다음과 같다.

• 전체 확률 P(y=1) + P(y=0) = 1
• 다르게 표현하면, P(y=1) = 1 - P(y=0)