AI 기초 ② 딥러닝 핵심

문항 미리보기

113문항 중 앞 5문항입니다.

1. 1

   단층 퍼셉트론으로 풀 수 없는 대표적인 문제는?

   1. 1AND 게이트처럼 두 입력이 모두 1일 때만 1을 내는 문제
   2. 2OR 게이트처럼 입력 중 하나라도 1이면 1을 내는 문제
   3. 3NOT 게이트처럼 입력을 반대로 뒤집어 내는 문제
   4. 4XOR

   정답XOR

   단층 퍼셉트론은 직선(초평면) 하나로 두 클래스를 나누는 선형 분류기다. AND·OR·NOT은 직선 하나로 나눌 수 있지만, XOR은 (0,1)·(1,0)과 (0,0)·(1,1)을 직선 하나로 가를 수 없다. 은닉층을 추가한 다층 퍼셉트론은 XOR을 풀 수 있으며, 이것이 ‘층을 쌓는 이유’를 보여 주는 고전 예시다.

2. 2

   다층 신경망에서 은닉층(hidden layer)을 추가하는 주된 이유는?

   1. 1출력층의 클래스 수를 자동으로 늘리기 위해
   2. 2입력을 단계적으로 변환해 비선형적이고 복잡한 패턴을 표현하기 위해
   3. 3학습 없이도 정답을 바로 계산하기 위해
   4. 4입력 데이터를 여러 번 복제해 학습 데이터 개수를 늘리고 부족한 샘플을 보충하기 위해

   정답입력을 단계적으로 변환해 비선형적이고 복잡한 패턴을 표현하기 위해

   은닉층은 입력을 점점 더 추상적인 특징으로 바꾼다. 이미지라면 앞쪽 층은 선·모서리, 뒤쪽 층은 무늬·물체 부분을 잡아낸다. 은닉층이 하나만 있어도 충분히 넓으면 거의 모든 연속 함수를 근사할 수 있다는 것이 보편 근사 정리이고, 실제로는 깊게 쌓는 편이 효율적이다.

3. 3

   신경망에 비선형 활성화 함수가 반드시 필요한 이유는?

   1. 1활성화 함수가 없으면 GPU가 행렬 곱을 병렬로 계산할 수 없게 되기 때문
   2. 2활성화 함수가 없으면 학습 속도가 지나치게 빨라져 학습 전체가 불안정해지기 때문
   3. 3활성화 함수가 없으면 모든 출력값이 항상 0과 1 사이로만 제한되어 버리기 때문
   4. 4쌓아도 결국 선형 변환 하나와 같아져서

   정답쌓아도 결국 선형 변환 하나와 같아져서

   선형 변환을 여러 번 합성해도 결과는 여전히 선형 변환 하나(W₂(W₁x) = (W₂W₁)x)다. 그러면 깊은 신경망도 선형 회귀와 표현력이 같아진다. ReLU 같은 비선형 함수를 층 사이에 넣어야 층을 쌓는 의미가 생긴다.

4. 4

   ReLU 활성화 함수의 정의로 옳은 것은?

   1. 11 / (1 + e⁻ˣ)
   2. 2max(0, x)
   3. 3x가 0보다 작으면 0.01x, 크면 x
   4. 4(eˣ − e⁻ˣ) / (eˣ + e⁻ˣ)

   정답max(0, x)

   ReLU는 음수는 0, 양수는 그대로 내보낸다. 계산이 매우 싸고 양수 구간의 기울기가 항상 1이라 그래디언트 소실이 적어 딥러닝의 기본 활성화 함수가 되었다. 1/(1+e⁻ˣ)는 시그모이드, 두 번째 식은 tanh, 음수에서 0.01x를 내는 것은 Leaky ReLU다.

5. 5

   시그모이드 함수를 깊은 신경망의 은닉층에 쓰면 생기는 대표적인 문제는?

   1. 1출력이 음수만 나와 다음 층이 학습되지 않는다
   2. 2미분값이 최대 0.25로 작아 층을 거칠수록 그래디언트가 소실된다
   3. 3입력이 커질수록 미분값도 끝없이 커져서 층을 거칠 때마다 그래디언트가 반드시 폭발한다
   4. 4계산 결과가 항상 정수로 반올림된다

   정답미분값이 최대 0.25로 작아 층을 거칠수록 그래디언트가 소실된다

   시그모이드의 도함수는 입력 0에서 최대 0.25이고, 입력이 크거나 작으면 거의 0이 된다(포화). 역전파는 층마다 이 값을 곱하므로 깊어질수록 앞쪽 층의 그래디언트가 사라진다. 그래서 은닉층에는 ReLU 계열을 쓰고, 시그모이드는 이진 분류 출력층에 주로 쓴다.