00. Notation

• 변수 Variable vs Data Point
• 종속변수 y
• 독립변수 X (벡터 여러 개가 있을 수 있음)

딥러닝이란?

: X와 y의 관계를 다층 퍼셉트론(인공신경망) 구조로 표현하는 모델

각광받는 이유 :

1. 다양한 종류의 문제에 접목할 수 있음 (데이터의 유연한 형식)

2. Pre-trained model

: 사전에 방대한 데이터를 가지고 학습된 모델을 재활용할 수 있음.

거대 데이터를 가지고 학습된 모델을 가져와서 나의 작업에 맞게 미세조성(Fine-tuning)

3. 데이터 + 하드웨어 + 소프트웨어

퍼셉트론

: 딥러닝을 구성하는 기본요소

• 입력값을 출력값으로 변환시킴
• 복잡한 딥러닝 모델도 결국 퍼셉트론의 조합으로 이루어짐
• 입력노드 → 가중치 → 합 → 활성화 함수 → 출력노드
• 

노드(node) : 파랑, 보라

퍼셉트론의 입출력 단위

• 퍼셉트론이 처리하는 데이터 x_1, x_2…, y^
• 입력 데이터 특성이 하나씩 대응된다.

가중치(weight) :

입력노드 하나당 곱해지는 계수를 의미

• 파라미터가 됨.

편향(bias) : 1

데이터 특성에 의해 주어지는 입력노드 외에 1의 값을 갖는 기본 노드

합 : 주황

입력노드와 그에 해당하는 가중치의 선형 결합된 값

활성화 함수 : 노랑

합을 출력노드로 바꾸는데 사용되는 함수

• 활성화 함수의 선택에 따라 {회귀, 분류} 문제를 표현할 수 있음

출력 : 보라

입력노드를 거쳐 최종 출력되는 하나의 값

 

단일 퍼셉트론의 한계

• 선형회귀식과 같이 직선으로 패턴을 표현하게 된다.
• 출력노드의 값이 주어졌을때, 패러미터 조정이 불가능하다.

→ 다층 퍼셉트론의 비선형 경계선 표현

: 층을 거듭 쌓으면서 비선형적 표현을 가능하게 해준다. 복잡한 패턴의 표현이 가능해진다.

딥러닝이 다층 퍼셉트론을 활용하여 정보를 처리하는 장치이다.

 

비선형 활성화 함수 (Activation Function)

: 입력노드와 가중치가 합산된 값을 입력받아 출력값을 계산

• 보통 미분가능한 비선형 함수를 사용
• 비선형 활성화 함수를 통해 비선형 패턴 표현 가능

그럼 다중 퍼셉트론과 활성화 함수 두 가지를 통해서 비선형적 표현을 표현한다는건가??

• Sigmoid, Hyperbolic Tangent, ReLU

 

인공신경망의 구조 (Neural Network)

다층 퍼셉트론은 중간 은닉노드, 즉 은닉층이 여러 개 추가된 것을 의미한다.

• 넓은 의미로는 학습을 통해 가중치의 결합 세기를 변화시켜, 문제 해결 능력 (패턴 인식)을 가지는 모델 전반을 의미한다.
• 

딥 인공신경망 (Deep Neural Network)

입력층과 신경망 사이에 1개 이상의 은닉층 존재 가능

⭐⭐ 인공신경망에 존재하는 가중치 개수 구하기 ⭐⭐