# ML : Normal Equation Noninvertibility

만약 Normal Equation에 역행렬이 존재하지 않는다면?

  • Normal Equation은 역행렬이 꼭 필요한데 없는 경우라면 굉장히 당황스러울 듯.
  • 하지만 교수님께서는 '그런일이 일어날 일은 매우 희박하지만, 그래도 궁금한 사람이 많으니 알려주겠다'며 친절하게 또 하나의 강좌를 만드셨으니..
  • 간단하게 설명하면 
    • 겹치는 내용이 있는지 확인하고,
    • 너무 feature가 많지는 않은지 확인하자.
  • 먼저 겹치는 내용이 있는지 확인하고, 있다면 그 내용을 줄여가도록 하자. 그리고나서 feature의 갯수가 너무 많은지(많다는 기준은 변수의 갯수에 대한 내부 인덱스 갯수를 의미하는 것인데 자세히 살펴보자) 확인하자.

1. Redundant features (linearly dependant)

  • 1m = 3.28 ft이라고 할 때, 위의 x1과 x2는 굉장히 밀접한(굳이 둘 다 사용하지 않아도 되는) 내용이 된다. 이는 x1 = (3.28)^2 * x2와 동일한 의미를 갖기 때문이다.
  • 게다가 선형 방정식이 되면, 더욱 관련성이 짙은 변수들이 되므로 둘 중 하나는 지워주는 것이 좋다.

2. Too many features (e.g. m <= n)

  • 만약 m이 10이고 n이 100인 경우, 이 때 생성되는 벡터는 n+1 차원으로 이루어지게 된다.
  • 가끔은 잘 동작할 수 있지만, 항상 그런것은 아니며 매우 위험한 구조가 된다.


댓글

댓글 쓰기