[딥러닝 + TensorFlow] 딥러닝의 기본 개념

참고 동영상 : https://youtu.be/n7DNueHGkqE

 

 

뇌 - 뉴런이라는 유닛이 생각보다 단순하게 동작되고있었다. 어떠한 inpu(x)이 있고 w(weight)만큼 이 있다면 x * weight만큼의 신호가 들어오고 각 줄기마다 sum이 일어난다. 그런다음 어떤 bias(b) -->[ x * weight + b]가 합쳐져 어떠한 기준 값 이상이 되면 활성화 되고 이하가 되면 활성화 되지 않는 원리였다.

 

 

 

                                                        이것을 우리는 위의 식처럼 만들 수 있는 것이다. 

 

 

 

 

▶ AND / OR problem : linearly separable

    아래 그림과 같이 or와 and는 linear 선을 그려서 구분이 가능하지만 xor는 선으로 구분하기에는 애매하다.

 

▶Backpropagation

이 문제는 아래 그림과 같은 알고리즘으로 해결된다. 기본적은 네트워크에 연결된 노드에 각각 w와 b가 있으면 이것을 이용해서 주어진 입력을 가지고 출력을 만들어낼 수 있다. 만약 출력과 답이 다르면 w,b를 조정시켜야된다. 이 알고리즘에서는 아래보이는 error를 뒤로 전달하면서 각각 trainning 시켜보자하는 내용이다. 

 

 

▶Convolutional Neural Networks

  그림이 있으면 그것을 한번에 다 Neural Networks에 연결시키는 것이 아니라 일부분으로 나눠서 보내고 나중에 합치는 방법이다. 이 방법은 문자를 인식하는데 90% 성공률을 보였다고한다.

 

 

▶A Big problem

  Backpropagation은 layer가 많을 때 뒤로 갈수록 앞에 error가 전달되지않아 문제가 발생한다고 한다. 한편 다른 알고리즘들이 더 잘 동작하였다고 한다.

 

▶Breakthrough

각각 w(weight)값이 있을때 초기값을 잘 주면 학습이 충분히 가능하다라는 논문을 내면서 이름이 deep Running으로 채택되게된다.

 

이 이후로 딥 러닝의 여러가지 사례(이미지 인식, 음석 인식, 알파고등) 성공적인 사례가 나오면서 딥 러닝이 주목을 받게 되었다는 이야기가 동영상의 내용이었다.