인공 신경망(Artificial Neural Network)은 「입력층(input layer), 여러 은닉층(hidden layers), 출력층(output layer)」으로 이루어진 함수의 묶음입니다.
각 층은 「뉴런(노드)」이라는 작은 계산 단위로 이루어지고, 뉴런들은 다음 층의 뉴런들과 「가중치(weight)」로 연결됩니다.
한 뉴런이 하는 일은 단순합니다.
「자기에게 들어온 모든 입력에 가중치를 곱해 더하고, 거기에 작은 상수(편향, bias)를 더한 뒤, 활성화 함수(activation function)에 통과시켜 출력으로 내보낸다」 — 이 과정이 끝입니다.
수식으로는 「output = activation(w₁×x₁ + w₂×x₂ + ...
+ b)」입니다.
비유하자면 한 뉴런은 「여러 친구의 의견(입력)을 듣고, 친구마다 가중치(신뢰도)를 다르게 두며 의견을 모아 결정을 내리는 사람」과 같습니다.
그 결정을 다음 층의 뉴런들에게 자기 의견으로 전달합니다.
층이 깊어질수록 더 추상적이고 복잡한 패턴을 잡을 수 있게 됩니다.
신경망의 위력은 「층을 쌓을수록 표현력이 폭발적으로 자란다」는 점에 있습니다.
입력 층은 픽셀 같은 가장 원시적 신호를 받고, 첫 은닉층은 「선분·모서리」 같은 단순한 특징을 잡고, 다음 층은 「눈·코·입」 같은 부분 특징을, 더 깊은 층은 「얼굴·고양이·자동차」 같은 전체 의미를 잡는 식의 자연스러운 위계가 만들어집니다.
신경망의 모든 「학습」은 이 가중치들과 편향을 데이터에 맞게 조정하는 일입니다.
GPT-4에는 이 가중치가 약 1조 7천억 개 들어 있고, 그 모든 숫자가 「인터넷 텍스트로부터 다음 단어를 더 잘 예측하기 위해」 학습된 결과입니다.
한 줄 요약
신경망은 입력층·은닉층·출력층으로 이루어진 함수이며, 각 뉴런은 입력에 가중치를 곱해 더한 뒤 활성화 함수에 통과시킵니다.
층이 깊어질수록 더 추상적인 특징을 잡습니다.
더 알아볼 것
- 퍼셉트론에서 다층 퍼셉트론으로
- 뉴런·가중치·편향의 직관적 의미
- 왜 「깊은」 망이 더 강력한가
