Perceptron

퍼셉트론 (perceptron)

퍼셉트론?

• 다수의 신호를 받아 하나의 신호를 출력.
• 입력으로 받은 신호에 각각 가중치를 곱한 뒤, 임계값을 초과하면 1을, 아니면 0을 출력.

[그림 1-1. 입력으로 2개의 신호를 받은 퍼셉트론]

• 가중치와 편향

  

  • 가중치: w_1, w_2, ...
    • 각 입력 신호가 결과에 주는 영향력(중요도)를 조절하는 매개변수
  • 편향: b (-θ)
    • 뉴런이 얼마나 쉽게 활성화 되는지 정하는 매개변수

단순 논리 회로

ex) 입력이 두 개인 퍼셉트론으로 단순 논리 회로 구하기

• AND: (w_1, x_1, θ) == (0.5, 0.5, 0.7)
• OR: (w_1, x_1, θ) == (0.5, 0.5, 0.3)
• NAND: (w_1, x_1, θ) == (-0.5, -0.5, -0.7)
  • AND 게이트의 매개변수 값의 부호를 모두 바꾸기만 하면 된다

한계

• 퍼셉트론을 사용하면 AND, NAND, OR 3가지 논리 회로를 구할 수 있다. 그러나 XOR는 불가능하다.

[그림 1-2. 동그라미, 세모는 XOR게이트의 출력을 나타낸다]

• XOR의 그림에서, 동그라미와 세모를 직선 하나로 나눌 수 없다
  • 직선 하나로 나눈 영역만 표현할 수 있는 한계가 있다 (선형 영역만 표현할 수 있다)
• XOR 같은 경우 (0, 0), (1, 1)의 값은 0. (0, 1), (1, 0)의 값은 1이다. 그러나 직선 하나로 이 두 영역을 분리할 수 없다

다층 퍼셉트론 (multi-layer perceptron)

• 층이 여러 개인 퍼셉트론. 퍼셉트론을 여러 층으로 쌓은 것.
• 곡선으로 나눈 영역도 표현할 수 있다 (비선형 영역도 표현할 수 있다.)
• 입력 신호부터 출력 신호까지, 각각 0층, 1층, ..., n층이라 한다. 이 퍼셉트론은 n층 퍼셉트론이라고 한다.

Example) XOR 게이트를 2층 퍼셉트론으로 나타내기

[그림 1-3. AND, NAND, OR 게이트를 조합해 구현한 XOR 게이트]

• y = (~(x_1*x_2))(x_1+x_2)
• 이론상 2층 퍼셉트론과, 활성화 함수로 시그모이드를 사용하면 임의의 함수를 표현할 수 있다는 것이 증명되었다. 컴퓨터 역시 구현 가능