AI/GPT (1) 썸네일형 리스트형 GPT 구조와 아키텍쳐 그리고 GPT를 알기 위해 알아야하는 것들 (1) GPT는 Transformer 아키텍쳐 기반으로 구축 & self-attention 레어어로 구성Transformer의 디코더 레이어를 쌓은 구조이며, 각 레이어는 두 개의 하위 레이어로 구성된다. 첫번째 하위 레이어는 다중 헤드 sefl-attention 메커니즘이고, 두번째 하위 레이어는 간단한 위치별 완전 연결 피드포워드 네트워크이다. 각 하위 레이어 전에 레이어 정규화가 적용되며, 각 레이어 뒤에는 잔차 연결이 이어진다. 이러한 적층 접근 방식을 통해 모델은 상당한 길이의 시퀀스를 처리 및 생성할 수 있게 되며, 탁월한 텍스트 생성 능력을 갖게 된다.위 글에서 그러면 transformer는 무엇이고, attention과 self-attention은 무엇이며, 왜 디코더만 사용했고, 정확하게 알지 .. 이전 1 다음
