# ML : Logistic (Regression) Classification

'매우 간단'하게 Regression에 대한 복습을 해보자면,

우리의 목적은 가장 최소 값을 갖는 Cost를 찾아내는 것이다.

그렇다면 Cost는 무엇을 의미할까? 우리가 세운 가정과 실제 값 사이의 차이를 의미한다.

Cost 값을 그래프로 표현하면 2차원 함수가 만들어지는데(제곱이니까 당연히), 우리는 이 그래프 값을 미분하였을 때 결과 값이 0이 되는 곳만 찾으면 된다.

왜냐하면, 그곳이 바로 Global Minimum한 값을 갖는 곳이기 때문이다.

중요한것은 미분을 한 위치에서부터 결과 값이 0이 되는 맨 밑부분까지 이동하면서 값을 비교해야 하는데, 이를 Gradient decent 방식이라고 한다. 순차적으로 내려간다는 의미이다.

Gradient Decent에서 사용되는 a는 learning rate라고 한다. 결국 a값 만큼씩 왼쪽이든 오른쪽이든 이동한다는 의미이다.

그렇다면 이제 Classification에 대해서 알아보자. 말 그대로 '분류' 작업이다.

일반적으로 Binary Classification이라고도 불리는데, 예시로는 다음과 같은 내용들이 있다.

결국 0또는 1, 참 또는 거짓과 같은 이분법적인 결과를 낼 수 있는 것을 Classification이라고 부른다.

위와 같은 결과가 있다고 가정하자. 대략적으로 1~3번째 시도까지는 fail이지만 4번째 시도부터 pass가 나왔다고 할 때, 일차 함수로 표현된 그래프 하나로 정확하게 pass와 fail을 구분할 수 있다. 그리고 이는 0.5 값을 기준으로 나누었을 때라고 표현할 수도 있다.

하지만 이런 경우를 보자. 만약에 7번째 동그라미가 그려지게 된다면, 기존에 존재하던 일차 함수가 아닌 다른 함수를 사용해야 할 것이다. (기준이 정확하게 나누어지지 않음)

문제는 새롭게 그려진 일차 함수를 이용하게 되면 기존에 존재하던 0.5 값으로는 정확하게 pass와 fail을 구분할 수 없다는 것이다. 그리고 이는 측정 값 갯수가 계속 증가해갈수록 값의 구분이 더욱 어려워질 수 있다는 것을 보여준다.

예를 들어보자.

H(x) = Wx + b라고 할 때, x = [1, 2, 5, 10, 11]이고 W = 0.5라면 대략적으로 0에서 1 사이의 값이 나올 수 있을 것이다. 그런데 만약 x에 100이 추가된다면, 값은 1보다 더 큰 50이 출력될 것이다.

실제 x의 값이 계속 증가하면 H(x) 값의 범위가 너무 천차만별로 늘어나고, 이는 가장 최적의 Cost 값을 찾기가 매우 어렵게 만든다. 그러므로 이를 해결하기 위한 방법이 요구되었다. 즉, 0에서 1 사이의 값만을 결과 값으로 받을 수 있는 그래프가 필요했다.

g(z)라는 식이 있고, 이 식이 g(z) = Wx + b를 나타낼 때 이 값의 범위가 0 <= g(z) < 1이 되는 그래프는 다음과 같다.

아마 이런식으로 그래프가 만들어질텐데, logistic function 또는 sigmoid function이라고 부른다. sigmoid는 'curved in two directions, like the letter 'S' or the Greek S(sigma)'라고 표현된다.

우리는 다음과 같은 그래프를 사용한다.