생물학적 뉴런 여러개의 가지돌기에서 자극이 입력. 그 자극의 합이 역치를 넘으면 축삭, 시냅스를 통해 다른 뉴런에게 신호가 전달.
인공적인 뉴런 이런 뉴런의 구조를 인공뉴런으로 표현 여러개의 Input(변수들)에 대해 가중합을 하여 값을 생성. 그 가중합된 값이 충분히 크다면 다음 뉴런에 1의 값을 전달하고 크지 않다면 0의 값을 전달 .
뉴럴 네트워크는 DAG(Directed Acyclic Graph). 방향이 있고 순환 구조가 없는 그래프. 단순한 구조뿐만 아니라 복잡한 뉴런을 만들 수 있고, 복잡한 뉴런들을 결합하면 복잡한 수학적 연산을 실시 할 수 있다.
뉴럴 네트워크의 구성요소
활성 함수(Activation function): 연산을 실시하여 값이 기준 이상이면 1, 아니면 0을 반환하는 함수. 모델에 런 리니어리티(learn linearity 선형성. 모델을 더 복잡한 공간으로 투영하게 한다. 저차원에서 분류하지 못하는 문제를 분류하게 하는 등)
Neural Network Structure: 연산되는 구조. 노드와 파라미터의 연산은 어떤 형태로든 있을 수 있다.
러닝 메서드(Learning Method): 파라미터를 업데이트 하는 방법
Activation function 중요한건 미분 할 수 있느냐. (step function, sign function의 경우 0인 지점에서 미분 불가능 하고 다른 지점에서도 gredient가 0이여서 파라미터를 움직여야 하는 방향을 모르기 때문에 사용하지 않는다.) 시그노이드, 하이퍼탄젠트의 경우 모든 구간에서 미분 가능하고 Gradient Descent가 가능한 활성 함수이다.
Neural Network Structure 인풋과 아우풋 사이를 연결하는 구조. 일반적으로 인풋과 파라미터들과 활성 함수의 복잡한 연산으로 구성된다.