[논문리뷰] Attention is All You Need (Transformer)
Intro* RNN을 사용하지 않고 Attention만으로 Seq2Seq 구조를 구현한 모델* 기존 모델들은 RCC or CNN에 기초, encoder에서 입력 seq을 vector로 압축할 때 일부 정보가 손실되기 때문에 보정을 위해 Attention을 사용하는 형태였다.* Attention만으로 encoder&decoder를 만들어보자!* 논문에 따르면, 이 모델은 병렬처리가 가능하고, 학습 시간이 훨씬 덜 소요된다 Attention MachanismSequence-to-Sequence Recurrent model은 Sequence순으로 데이터가 입력되는데, 이전 데이터의 hidden state ht">ht가 다음 데이터의 hidden state ht+1">ht+1를 구할 때 사용된다. 즉, 어떠한 ..
AI/ETC
2025. 2. 12. 14:30
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Gaussian Splatting
- CLOVAX
- 파이썬코테
- 논문리뷰
- 드림부스
- 코랩에러
- AI컨퍼런스
- MYSQL
- 논문읽기
- AIRUSH2023
- C언어
- 테크서밋
- 3d-gs
- AIRUSH
- gan
- SKTECHSUMMIT
- gs논문
- Paper review
- 논문
- 코테준비
- 코딩공부
- dreambooth
- 프로그래머스
- 컴퓨터비전
- Aimers
- 스테이블디퓨전
- lgaimers
- SQL
- 파이썬
- 2d-gs
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
글 보관함
반응형