딥러닝에서 손실 함수(Loss Function)은 모델의 예측 값과 실제 값 사이의 차이를 수치로 표현하는 함수이다. 이 함수는 모델이 얼마나 잘(또는 못) 예측하는지 평가하는 척도가 된다. 손실 함수는 다음과 같은 역할을 한다. 오차 측정: 모델의 출려과 실제 정답 간 차이를 계산하여, 모델의 성능을 정량적으로 평가한다. 모델 최적화: 손실 값을 최소화하기 위해 경사 하강법(Gradient Descent) 등의 최적화 알고리즘을 사용해 모델의 가중치를 업데이트 한다. 손실 함수는 문제 유형에 따라 결정될 수 있다. SSE(Sum of Squares for Error) 오차제곱합(SSE, Sum of Squares for Error)은 각 데이터 샘플의 예측 오차를 제곱하여 모두 합한 값이다....
이미 학습된 매개변수를 사용하므로, 학습 과정은 생략하고 추론 과정만 구현할 것이다. 이 추론 과정을 신경망의 순전파(forward propagation)라고 한다. 신경망은 두 단계를 거쳐 문제를 해결한다. 먼저 훈련 데이터를 사용해 가중치 매개변수를 학습하고, 추론 단계에서 앞서 학습한 매개변수를 사용해 입력 데이터를 분류한다. MNIST 데이터셋 MNIST 데이터셋은 0부터 9까지의 숫자로 이미지로 구성된다. 훈련 이미지와 시험 이미지가 준비되어 있다. MNIST의 이미지는 $28 \times 28$ 크기의 이미지(1채널)이며, 각 픽셀은 0~255까지의 값을 취한다. 각 이미지는 그 이미지가 실제 의미하는 숫자가 레이블로 있다....
복잡한 처리는 퍼셉트론으로 (이론상) 표현할 수 있다. 그러나 가중치를 설정하는 작업은 수동으로 해주어야 한다. 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력은 신경망의 중요한 성질이다. 신경망 $x_1$과 $x_2$ 두 신호를 입력받아 $y$를 출력하는 퍼셉트론이 있다고 하자. 이 퍼셉트론을 수식으로 나타내면 $$ y = \begin{cases} 0 \space (b + w_1x_1 + w_2x_2 \le 0) \newline 1 \space (b + w_1x_1 + w_2x_2 \gt 0) \end{cases} $$ $b$는 편향을 나타내는 매개변수로, 뉴런이 얼마나 쉽게 활성화되는지를 제어한다....
학습이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 의미한다. 데이터 학습 데이터에서 학습한다는 의미는 가중치 매개변수의 값을 데이터를 통해 자동으로 결정한다는 것이다. 데이터 주도 학습 기계학습은 데이터에서 답을 찾고 데이터에서 패턴을 발견하고 데이터로 이야기를 만든다. 따라서 기계학습의 중심에는 데이터가 존재한다. 기계학습에서는 사람의 개입을 최소화하고 수집한 데이터로부터 패턴을 찾으려고 시도한다. 신경망과 딥러닝은 기존 기계학습에서 사용하던 방법보다 사람의 개입을 더욱 배제할 수 있게 해주는 특성을 지녔다. ‘5’라는 숫자를 인식하는 프로그램을 구현한다고 하자....
퍼셉트론이란? 퍼셉트론은 다수의 신호를 입력받아 하나의 신호를 출력한다. 퍼센트론 신호는 ‘흐른다/안 흐른다(1 또는 0)‘의 두 가지 값을 가질 수 있다. $x$는 입력값을 의미하며, $W$는 가중치, $y$는 출력값이다. 그림 안의 원은 인공 뉴런에 해당한다. 각 인공 뉴런에 보내진 입력값 $x$는 각각의 가중치 $W$와 함께 인공 뉴런에 전달된다. 각각의 입력엔 가중치가 존재하는데, 이때 가중치 값이 크면 클수록 해당 입력값이 중요하다는 의미가 된다. 각 입력값이 곱해져 인공 뉴런에 보내지고, 각 입력값과 그에 해당되는 가중치 곱의 전체 합이 임계치(threshold)를 넘으면 종착지에 있는 인공 뉴런은 출력 신호로 1을 출력하고, 그렇지 않으면 0으로 출력한다....