이미지 나 텍스트에서 비디오를 생성하는 모델 인 W.A.L.T 란 무엇입니까?

2023 년 12 월 27 일, Stanford University, Google Research 및 Georgia Institute of Technology의 연구원들은 Window Interection Latent Transformer (W.A.L.T) 모델을 소개했습니다. Transformer Neural Network Architecture를 사용하고 LVDMS (Latent Video Diffusion Models)에 대한 새로운 접근 방식을 제시하면서 정적 이미지 또는 텍스트 설명에서 사진의 생성을 촉진합니다.

### W.A.L.T 팀의 혁신적인 접근

연구원들은 비디오와 이미지를 감소 된 차원의 통합 잠재 공간에 매핑하기 위해 자동 인코더를 사용하여 양식에 걸쳐 학습과 생성을 가능하게했습니다. 동시에 동시에 비디오와 이미지에 대해 W.A.L.T를 교육함으로써 그들은 처음부터 모션에 대한 더 깊은 이해를 모델에 제공했습니다.

또한, 트랜스포머 블록의 특수 설계를 통해 잠재 비디오 확산을 모델링 할 수있었습니다. 이 블록은 공간과 시공간 자체 변환 층 사이의 번갈아 가며 공간적주의는 창으로 제한됩니다. 이 디자인은 현지화 된 창의주의로 인한 계산 요구 감소와 이미지 및 비디오 프레임을 독립적으로 처리 할 수있는 공동 교육 가능성을 포함하여 상당한 이점을 제공합니다.

### W.A.L.T의 강력한 성능

연구팀은 다음과 같이 말합니다. ”

이미지와 비디오는 공유 잠재 공간으로 인코딩됩니다. 트랜스포머 백본은 두 개의 층에 관한주의를 기울이는 두 층의 블록으로 이러한 잠재를 처리합니다. 공간 레이어는 이미지와 비디오 내에서 공간 관계를 캡처하는 반면, 시공간 레이어는 Identity Interection Mask를 통해 비디오에서 시간적 역학을 모델링하고 이미지 전환 이미지를 모델링합니다. 텍스트 컨디셔닝은 공간적 교차 신경을 통해 수행됩니다.

연구원들은 텍스트-비디오 생성 작업을 위해 세 가지 모델의 캐스케이드를 훈련 시켰습니다. 초당 프레임, 512 x 896 픽셀의 해상도에 도달합니다.

W.A.L.T는 특히 비디오 부드러움 측면에서 강력한 성능을 보여 주며 “이미지와 비디오를위한 통일 ​​된 프레임 워크가 이미지와 비디오 생성 사이의 격차를 해소 할 것”이라는 연구원들의 주장을 검증하는 것으로 보입니다.

### W.A.L.T의 텍스트-비디오 생성 분야에 대한 기여

W.A.L.T는 텍스트-비디오 생성 분야에 크게 기여하여 몇 가지 주요 이점을 제공합니다.

1. ** 통합 프레임 워크 : ** 이미지와 비디오에서 단일 모델을 훈련시켜 W.A.L.T는 시각적 컨텐츠에 대한 포괄적 인 이해를 개발하여 현실적이고 일관된 비디오를 생성 할 수 있습니다.

2. ** 창의주의 : ** Windown Attention의 사용으로 W.A.L.T는 비디오의 현지 지역에 집중하여 계산 비용을 줄이고 교육 효율성을 향상시킬 수 있습니다.

3. ** 최첨단 공연 : ** W.A.L.T는 확립 된 비디오 및 이미지 생성 벤치 마크에서 최첨단 결과를 달성하여 텍스트 또는 이미지 프롬프트에서 고품질 비디오를 생성하는 데있어 강력한 성능을 보여줍니다.

W.A.L.T의 기능은 창의적인 콘텐츠 생성, 비디오 편집 및 엔터테인먼트, 교육 및 그 이후의 다양한 응용 프로그램을위한 새로운 가능성을 열어줍니다. AI 구동 비디오 합성 분야에서 중요한 단계를 나타냅니다.