Cost(비용) 최소의 구체적인 방법 - 텐서플로우(tensorflow)

기존 가설함수와 Cost함수

간략화된 가설함수와 Cost함수

b를생략. 추후에 W를 매트릭스로 사용하며 b가 안으로 들어감.

이는 추후에 서술

Cost Function의 변화

기존 코스트 함수가 아래와 같았다면

다음과 같이 변경

cost의 값은 절반이 되지만 특성은 변하지 않음

costfunction을 미분할때에 뒤의 지수가 앞으로 나오는 과정에서

식을 간략화 할수 있음

Gradient descent알고리즘의 미분과정

위와같이 W에 대한 편미분 진행시 Cost Function의 지수부분이 사라짐.

여기서 α값은 learning_rate를 의미함.

Gradient descent 알고리즘의 사용제한

Cost함수가 Convex function일때에 한정적으로 사용.

Convex function란

Local minimum이 여러개 존재하지 않는 함수

Local minimum값이 Global minimum값과 같다는것이 보장됨

그렇지 않은 곳에서 경사하강법을 사용시

Local minimum인것은 확실하나 그 값이 Global minimum값이라고 보장할수 없다.