• 신경망 학습의 원리를 이해시키기 위해서 필요한 단원
• 신경망 학습을 2가지 방법으로 시킬 수 있습니다.
  1. 수치 미분을 이용한 방법(4장) --> 장점: 어떻게 학습되는지 확실히 이해할 수 있음 단점: 학습이 너무 느리다.
  2. 오차 역전파를 이용한 방법(5장) --> 장점: 학습이 빠릅니다. 단점: 신경망 학습의 원리를 이해하기가 어려움
• 지금 현장에서 사용하고 있는 모든 신경망을 오차 역전파를 이용한 방법입니다.

▣ 4.1 크로스 엔트로피 오차함수

• 오차함수란 ? 신경망이 예측한 예측값과 진짜 정답과의 오차를 출력해주는 함수
• 오차함수의 종류 2가지 ?
  1. 교차 엔트로피 오차함수(cross entropy error) : 분류 문제를 풀때 사용
  2. 평균 제곱 오차함수(mean squared error) : 수치 예측을 할때 사용

     • 숫자 예측

       1. 다중 회귀(미국민 의료비 데이터) ,

       2. 신경망(콘크리트 강도 예측 )

       3. 시계열 예측 ( 다음날 또는 다음달 주가 예측, 기상 예측)

예제1. 교차 엔트로피 오차함수의 수학식을 확인하시오 !

식 4-2 (e 4.2)

예제3. 교차 엔트로피 오차함수를 파이썬으로 생성하시오 !

def  cross_entropy_error( y, t) :
    delta = 0.0000001  # 0은 아닌데 0에 아주 가까운 수
    return   -np.sum( t *  np.log( y + delta )  

설명: 식4.2 와는 다르게 아주 작은 수인 delta 를 y 에 더해주는 이유는 ?

y 가 0 이 되게 되면 마이너스 무한대가 되기 때문에 마이너스 무한대가 출력되지 않도록 아주 작은값을 y 에 더한것입니다.

예제5. 예측값과 정답을 위에서 만든 교차 엔트로피 함수에 넣고 오차를 출력하시오

def  cross_entropy_error( y, t) :
    delta = 0.0000001  # 0은 아닌데 0에 아주 가까운 수
    return   -np.sum( t *  np.log( y + delta )  )

y = np.array([ 0.7, 0.2, 0.1 ])  
t = np.array([ 1, 0, 0 ] )

print ( cross_entropy_error( y, t ) )   # 0.3566748010815999 <-- 이 값이 0에 가까워지도록 신경망을 학습 시키는것입니다. 

신경망을 통해서 풀고자 하는 문제가 수치 예측인지 분류인지를 명확히 알고 있으면 관련한 오차함수만 거기에 맞게 잘 선택하면 됩니다.

1. 분류 ---------------> 교차 엔트로피 함수
2. 수치예측-----------> 평균 제곱 오차 함수

▣ 4.2 평균제곱 오차함수

예제1. 평균 제곱 오차의 함수 식인 식 4.1 을 표시하시오 !