ํฐ์คํ ๋ฆฌ ๋ทฐ
4D Gaussian Splatting for Real-Time Dynamic Scene Rendering | ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ
ํด๋์๊ทธ 2024. 9. 4. 14:18CVPR 2024.
Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, Xinggang Wang
School of CS | Huazhong University of Science and Technology 2School of EIC | Huazhong University of Science and Technology | Huawei Inc.
15 Jul 2024
Introduction
๋ณธ ๋ ผ๋ฌธ์ ์์ง์ด๋ ์์์ ๋ํด scene์ ๋ ๋๋งํ๋ ์ฐ๊ตฌ์ด๋ค.
Gaussian Splatting ๊ธฐ๋ฒ์ ์ฌ์ฉํ Dynamic scene ๋ชจ๋ธ๋ง ์ฐ๊ตฌ๋ฅผ ํตํด ํผ์ฌ์ฒด๊ฐ ์์ง์ฌ๋ ์๊ฐ์ ๋ณํ์ ๋ฐ๋ผ ์์ฐ์ค๋ฝ๊ฒ ๋ ๋๋งํ ์ ์๊ฒ ํ๋ค.
๊ธฐ์กด์ 3D-GS๋ฅผ ์ฌ์ฉํ ๋ฐฉ๋ฒ๋ค์ ์ ๋ ฅ ์ด๋ฏธ์ง๋ฅผ ์๊ตฌ or ๋ฉ๋ชจ๋ฆฌ์ ํธ๋ ์ด๋์ ๋ฌธ์ ๊ฐ ์กด์ฌ
•3D-GS: ์ ์ ์ธ ์ฅ๋ฉด ์ค์
•Dynamic 3D-GS: ์ ๋ ฅ ์ด๋ฏธ์ง ์๊ตฌ & ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋ ์ฆ๊ฐ
•Deformable 3DGS: training ๋นํจ์จ์
๋ณธ ๋ ผ๋ฌธ์์ ์ ์ํ๋ ๋ฐฉ๋ฒ๋ก ์์๋ spatial-temporal structure encoder๋ฅผ ์ฌ์ฉํด ์ธ์ ํ ์๋ก ๋ค๋ฅธ 3D Gaussian๋ค์ ์ฐ๊ฒฐํ์ฌ ๋ณด๋ค ์ ํํ ์์ง์๊ณผ ๋ชจ์ ๋ณํ์ ์์ธกํ ์ ์๋ค.
๊ถ๊ทน์ ์ผ๋ก 4D Gaussian Splatting ํตํด ํจ์จ์ ์ธ ํ์ต ํจ์จ์ฑ๊ณผ ์ค์๊ฐ ๋ ๋๋ง์ ์ป์ ์ ์๋ค.
Method
4D Gaussian Splatting Framework
์ ์ฒด์ ์ธ ํ๋ ์์ํฌ๋ฅผ ๋ณด์.
4D Gaussian์ Staticํ 3D Gaussian์ ๋ง๋ ํ,
์๊ฐ์ ๋ฐ๋ฅธ ๊ฐ 3D Gaussian๋ค์ Position, Rotation, Scaling ๋ณํ๋์ ๋ชจ๋ธ๋งํ๋ค.
์ด ๋ณํ๋์ Deformation Field๋ก ํํํ๊ณ , ( 3D Gaussian์ ์ ๋ ฅ์ผ๋ก) ์ผ๋ง๋ ๋ณํ์์ผฐ๋์ง ๋ํด ๋ค์๊ณผ ๊ฐ์ด ์ถ๋ ฅํ๋ ๊ฒ์ ํ์ธํ ์ ์๋ค.
Encoder๋ฅผ ๋ณด๋ฉด ๋จผ์ 6๊ฐ์ง์ matrix์ผ๋ก ๋ณํ๋๊ณ , ๊ทธ๋ค์ feature vector๋ก ํฉ์ณ์ง๋ฉฐ, MLP๋ฅผ ํต๊ณผํ์ฌ ์ต์ข ๊ฒฐ๊ณผ ๊ฐ์ ํ๋ํ๊ฒ ๋๋ค.
NeRF๊ธฐ๋ฐ์ Dynamic Model์ ray์์ point๋ค์ deformationํ๊ธฐ ๋๋ฌธ์, ๊ฐ point์ ์๋ก ๋ค๋ฅธ ์๋๋ฅผ ์ ๋ชจ๋ธ๋งํ์ง ๋ชปํ์ฌ ํ๋ฆฌํฐ ํ๋ฝ์ด ์๋ค.
4D Gaussian Splatting์์๋ ๊ฐ Gaussian์ด ray์ ์์กดํ์ง ์๊ณ ์๋ก ๋ค๋ฅธ ์๋๋ก ์ด๋์ด ๊ฐ๋ฅํ๊ธฐ ๋๋ฌธ์, ์๊ฐ t์ ๋ฐ๋ผ Gaussian์ ์์น๊ฐ ์ด๋ํ๋ฉด ๋ค๋ฅธ ray๋ฅผ ํตํด ์ด๋๋ Gaussian์ rendering ํ ์ ์๊ฒ ๋๋ค.
Gaussian Deformation Field Network
Multi-resolution HexPlane์ผ๋ก 3D Gaussian์ spatial, temporal ๊ฐ์ encoding ํ๋ค.
์ฌ๋ฌ๊ฐ(multi)์ Resolution์ผ๋ก Rank๋ฅผ ๊ตฌ์ฑํ๊ณ ์ด๋ฅผ MLP์ input์ feature๋ก ์ฌ์ฉํ ๊ฒ์ด๋ค.
i, j์ ๋ํ ๊ฒ์ ๊ฐ ํ๋ฉด์ ์ฐจ์์ ์๋ฏธํ๊ณ , R์ ๊ทธ ์ฐจ์์ผ๋ก ๊ตฌ์ฑ๋ Rank๋ฅผ ์๋ฏธํ๋ค.
interpolation์ ํ๊ฒ ์ขํ์ ์ฃผ๋ณ์ Tensor ๊ฐ๋ค๋ก ๋ณด๊ฐ(interpolation)ํ๋ค๋ ๊ฒ์ ๋ํ๋ธ๋ค.
๊ฐ ์ฐจ์์ ๋ํด interpolationํ ๊ฐ์ concatํ์ฌ voxel์ ๋ํ feature๊ฐ์ผ๋ก ๋ง๋ค๊ฒ ๋๋ค. (fx๊ฐ ๋ด๋ด ๋ณต์ ์ ๋ํ ํฝ์ ์)
์์ ๊ฐ์ด ๋ชจ๋ธ๋งํ๊ฒ ๋๋ฉด, ๊ณต๊ฐ์๊ณผ ์๊ฐ์์ (x,yํ๋ฉด) ๊ฐ๊ฐ ์ธ์ ํ voxel์ ์ ์ฌํ feature๋ค์ ๋ํ๋ด๊ณ , ์๊ฐ์(xtํ๋ฉด)์ผ๋ก ์ธ์ ํ voxel๋ค์ ์ ์ฌํ feature๋ค์ ๋ํ๋ธ๋ค.
3D Gaussian๋ค์ ๋ชจ๋ feature๋ค์ด ์ธ์ฝ๋ฉ๋๋ฉด, decoder๋ฅผ ์ฌ์ฉํ์ฌ ์ํ๋ ๋ณ์๋ฅผ ๊ณ์ฐํ ์ ์๋ค.
๋ณ๋์ MLP๋ฅผ ์ฌ์ฉํ์ฌ position, rotation, scaling์ ๋ณํ์ ๊ณ์ฐํ๋ฉด, ์ด์ ๊ฐ์ด ์ฒ๋ฆฌ๋ฉ๋๋ค.
์ต์ข ์ ์ผ๋ก ๋ณํ๋ 3D Gaussian์ ์ป์ ์ ์๋ค.
Optimization
3D Gaussian ์คํ๋ํฐ ๋ฐฉ๋ฒ๊ณผ ๋์ผํ๊ฒ Structure from Motion(SfM) ํฌ์ธํธ ์ด๊ธฐํ๋ฅผ ํตํด ํ์ต์์ผ์ ํ๋ฆฌํฐ๋ฅผ ํฅ์ํ ๋ค,
๊ทธ ํ์ dynamic scene์ fine-tuningํํ๋ก ํ์ต์์ผฐ๋ค๊ณ ํ๋ค.
Loss function์ L1 color loss๋ฅผ ์ฌ์ฉํ๊ณ , ๊ทธ๋ฆฌ๋ ๊ธฐ๋ฐ tv loss ๋ ์ถ๊ฐ๋ก ์ ์ฉํ์๋ค.
Experiments
dynamic scene ๋ฐ์ดํฐ์ ์ด๊ธฐ ๋๋ฌธ์ 3DGS(3D Gaussian Splatting)์ PSNR์ ๋ฎ์ ๊ฒ์ ๋ณผ ์ ์์ผ๋ฉฐ, ์ด์ dynamic scene ์ฐ๊ตฌ์ ๋นํด ํ๋ฆฌํฐ๊ฐ ๋๊ณ , ๋๋๋ง ์๋๊ฐ ๋น ๋ฅธ ๊ฒ์ ๋ณผ ์ ์๋ค.
'AI > ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ Paper Review' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
- Total
- Today
- Yesterday
- ๋๋ฆผ๋ถ์ค
- AIRUSH
- AIRUSH2023
- ํ๋ก๊ทธ๋๋จธ์ค
- ํ์ด์ฌ
- ์ฝ๋ฉ๊ณต๋ถ
- ๋ ผ๋ฌธ
- ๋ ผ๋ฌธ์ฝ๊ธฐ
- C์ธ์ด
- ํ ํฌ์๋ฐ
- lgaimers
- SQL
- Aimers
- ์ฝ๋ฉ์๋ฌ
- gs๋ ผ๋ฌธ
- dreambooth
- ํ์ด์ฌ์ฝํ
- gan
- ์ปดํจํฐ๋น์
- ๋ ผ๋ฌธ๋ฆฌ๋ทฐ
- ์คํ ์ด๋ธ๋ํจ์
- Gaussian Splatting
- MYSQL
- 3d-gs
- CLOVAX
- ์ฝํ ์ค๋น
- 2d-gs
- AI์ปจํผ๋ฐ์ค
- Paper review
- SKTECHSUMMIT
์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |