[10초면 OK] 딥러닝 신경망 오차 역전파에서 가중치 업데이트 과정

코로나보드의 프론트엔드와 백엔드의 전체적인 아키텍처를 파악하고, 이러한 아키텍처로 설계된 이유를 알아봅니다.

[Must Have] 텐초의 파이토치 딥러닝 특강

골든래빗 출판사

이종민(텐초) 지음

《Must Have 텐초의 파이토치 딥러닝 특강》에서 재미있는 글을 선별해 연재해보겠습니다.

파이토치 권고 코딩 스타일

파이토치로 사인함수 근사해보기

오차 역전파에서 가중치가 업데이트되는 과정

트랜스포머 소개

3. 오차 역전파에서 가중치 업데이트 과정

이제부터 가중치가 업데이트되는 과정을 직접 유도하겠습니다. 오차 역전파를 설명하면서 적지 않은 미분수식을 사용합니다. 그래서 미분에 익숙하지 않은 분께는 어려울 수 있습니다. 한 번 읽고 도저히 무슨 말인지 모르겠다고는 생각이 드시는 분은 ‘가중치는 가중치에 대한 손실의 기울기 만큼만 이동시킨다’라고만 기억하고 넘어가주세요.

우선 오차 역전파 알고리즘의 큰 흐름을 그림으로 확인해봅시다.

이번에는 실제로 오차가 역전파되는 과정을 구해봅시다. 먼저 손실 함수 L을 다음과 같이 정의하겠습니다.

이 손실 함수를 신경망의 출력값 y로 미분하면 다음과 같이 됩니다.

출력층의 출력값 y는 은닉층의 출력 a1과 a2로 표현할 수 있습니다. 또한 미분의 연쇄 법칙을 이용하면 손실을 입력층의 가중치로 미분한 결과를 손쉽게 얻을 수 있습니다. 단, 활성화 함수 F를 반드시 고려해야 합니다. 활성화 함수로는 시그모이드 함수를 사용했으므로 먼저 시그모이드 함수를 미분하겠습니다. 다음 그림은 시그모이드 함수의 도함수입니다.

이제 가중치를 수정하겠습니다.

이종민(텐초)

일본 JAIST 정보과학 석사. 동경의 딥러닝 엔지니어로 Ghelia에서 B2B 인공지능 솔루션을 개발 중이다. 딥러닝의 유용함을 널리 알리고자 유튜버로 활동하고 글을 쓰고 책을 집필합니다. 쉬운 그림을 이용해 10초만에 핵심을 전달하자는 의미에서 닉네임을 텐초로 지어 활동하고 있습니다.

– SNS : www.youtube.com/c/텐초

AI KERAS matplotlib NLP NUMPY PANDAS PYTORCH SCIKIT-LEARN seaborn TENSORFLOW 강화학습 기계학습 넘파이 데이터과학 데이터분석 딥러닝 맷플롯립 머신러닝 비지도학습 사이킷런 시본 신경망 예측 인공지능 자연어처리 지도학습 케라스 텐서플로 통계 파이썬 파이토치 판다스 확률

[10초면 OK] 딥러닝 신경망 오차 역전파에서 가중치 업데이트 과정

3. 오차 역전파에서 가중치 업데이트 과정

📚 더 읽기