뉴런은 어떻게 '배우는가' — 경사하강법과 역전파

지난 편에서 뉴런은 y = f(Σ(wᵢxᵢ) + b)로 계산된다고 했습니다. 그렇다면 '학습'이란 이 w(가중치)와 b(편향)를 정답에 가깝게 조금씩 고쳐가는 일입니다. 핵심 질문은 하나입니다. '지금 값을 어느 방향으로, 얼마나 바꿔야 오차가 줄어드는가?'

먼저 예측이 얼마나 틀렸는지를 숫자로 재는 손실(loss)을 정합니다. 예를 들어 오차 제곱 L = (y - t)² (t는 정답). 이제 각 가중치를 아주 조금 바꿨을 때 L이 늘지 줄지를 알려주는 것이 바로 '기울기(gradient)' ∂L/∂w 입니다. 기울기의 반대 방향으로 조금 이동하면 손실이 줄어듭니다 — 이것이 경사하강법입니다: w ← w − η·(∂L/∂w). η(학습률)는 한 걸음의 보폭입니다.

층이 여러 개면 기울기를 어떻게 구할까요? 출력 쪽에서 입력 쪽으로 '연쇄법칙(chain rule)'을 타고 오차의 책임을 되돌려 분배합니다. 이 과정이 역전파(backpropagation)입니다. 즉 순전파로 예측을 내고, 손실을 재고, 역전파로 각 파라미터의 기울기를 구한 뒤, 경사하강법으로 갱신합니다.

import numpy as np

# 입력 x, 정답 t, 가중치 w, 편향 b (단일 뉴런, 선형 회귀 예)
x = np.array([1.0, 2.0, 3.0])
t = 10.0
w = np.random.randn(3) * 0.1
b = 0.0
lr = 0.01

for step in range(1000):
    # 순전파
    y = np.dot(w, x) + b          # 예측
    loss = (y - t) ** 2           # 손실 (오차 제곱)

    # 역전파 (연쇄법칙으로 기울기 계산)
    dL_dy = 2 * (y - t)           # ∂L/∂y
    dL_dw = dL_dy * x             # ∂L/∂w = ∂L/∂y · x
    dL_db = dL_dy * 1.0           # ∂L/∂b

    # 경사하강법 갱신
    w -= lr * dL_dw
    b -= lr * dL_db

print(f'예측={np.dot(w, x) + b:.4f}, 목표={t}, 손실={loss:.6f}')

위 코드는 뉴런 하나가 반복을 거듭하며 w·b를 스스로 조정해 예측을 목표값 10에 맞춰가는 과정을 보여줍니다. 학습률이 너무 크면 발산하고, 너무 작으면 느립니다. 실제 심층망도 원리는 똑같고, 다만 수많은 뉴런에 대해 이 계산을 한꺼번에 행렬로 처리할 뿐입니다.

→ 다음 편: 왜 깊은 망은 학습이 어려운가 — 기울기 소실(vanishing gradient)과 ReLU·정규화의 역할