생성형 AI를 이용한 영상 제작에 대한 관심이 급증한 것은 OpenAI의 SORA 서비스 등장 이후라 해도 과언이 아닙니다. 그 전까지 AI 기술은 주로 영상 편집 보조, AI 음성 및 이미지 생성 등 제한적인 영역에서 활용되었습니다. 이러한 기술들이 영상 제작을 개선한 것은 사실이지만, 완전한 영상을 처음부터 끝까지 AI로 만드는 데는 한계가 있었습니다.

최근 현대자동차의 AI 생성 광고에서 볼 수 있듯이, 지금까지의 생성형 AI 영상 제작 기술은 주로 정적인 이미지에 약간의 움직임을 더하는 수준이었습니다. 하지만 Runway의 Gen-3 출시로 AI 영상 제작의 새 장이 열렸다고 할 수 있습니다. 더욱이 향후 SORA 서비스까지 출시된다면 영상 제작 분야에 큰 변화가 예상됩니다.

Runway Gen-3: AI 영상 제작의 혁명

Runway의 Gen-3는 AI 영상 제작 기술의 혁명적 진보를 보여주고 있으며, Gen-2와 비교해 주목할 만한 개선점은 다음과 같습니다:

1. 10초 길이 영상 생성: 90초만에 생성이 가능하며, 복잡한 장면 구성이 가능합니다.
2. 향상된 영상 품질: 더욱 사실적이고 매끄러운 영상 제작이 가능합니다.
3. 시드 번호를 통한 연속성: 일관된 캐릭터나 배경을 유지하면서 더 긴 내러티브를 구성할 수 있습니다.
4. 다양한 카메라 앵글과 움직임: 인물 표현과 카메라 앵글 효과가 정교해져 더욱 역동적인 영상 제작이 가능합니다.

Runway에서 Gen-3 출시와 함께 공개한 데모 영상을 보면, 이 기술의 잠재력을 실감할 수 있습니다.

Gen-3의 구체적인 사용 방법은 다음과 같습니다:

1. Runway 웹사이트에 접속하여 계정 생성 및 로그인
2. 유료 플랜 선택 (월 약 15달러부터 시작, 625 크레딧 제공)
3. 프롬프트 입력란에 원하는 영상 설명 입력
4. 영상 길이 선택 (최대 10초)
5. ‘생성’ 버튼 클릭
6. 생성된 영상 확인 및 다운로드

프롬프트 작성 시 다음과 같은 구조를 따르면 효과적입니다:

• 카메라 움직임 설정 (예: 패닝, 줌인/아웃)
• 장면 설정 (예: 도시 야경, 열대 우림)
• 주요 대상 설명 (예: 빨간 드레스를 입은 여성)
• 세부 정보 및 분위기 (예: 은은한 조명, 신비로운 분위기)

개인적인 사용 경험

Gen-3 출시 후, 저는 무제한 요금제에 가입하여 매일 실험적으로 영상을 제작중입니다. 이 과정에서 경험한 내용은 다음과 같습니다:

1. 프롬프트의 복잡성: 영상 생성을 위한 프롬프트는 이미지 생성보다 훨씬 복잡합니다. 카메라 움직임, 장면 전환, 시간의 흐름 등 고려할 요소가 많아 새로운 학습이 필요합니다.
2. 연속성의 한계: 시드 번호를 이용한 연속성 있는 영상 제작은 아직 초기 단계입니다. Midjourney 초기 버전처럼 일관성 유지에 어려움이 있지만, 앞으로 개선될 것으로 기대됩니다.
3. 창의적 가능성: 제한점에도 불구하고, Gen-3는 영상 제작의 새로운 가능성을 제시합니다. 기존 AI 도구와 결합하면 숏폼 콘텐츠 제작에 혁명을 일으킬 수 있을 것입니다.

구체적인 사용 예시:
남자는 번화한 도시의 밤거리를 걷고 있습니다. 네온사인과 가로등이 비추며, 최근 비가 내린 후 젖은 도로에 반사되어 빛납니다. 그 사람은 후드가 달린 자켓을 입고 있으며, 얼굴은 부분적으로 가려져 있습니다. 부드러운 조명과 생동감 있는 네온 색상들이 분위기 있고 영화 같은 장면을 만들어냅니다.

Gen-3의 현재 한계점

Gen-3는 혁신적인 기술이지만, 여전히 몇 가지 한계점이 있습니다:

1. 사진 업로드 기능 부재: 사용자가 원하는 특정 이미지를 기반으로 영상을 생성할 수 없습니다.
2. 영어 텍스트만 지원: 현재로서는 영어 프롬프트만 정확하게 인식합니다.
3. 미리보기 기능 부재: 영상 생성 전에 결과를 예측하기 어렵습니다.
4. 완벽한 연속성 있는 장면 제작의 어려움: 여러 장면을 이어 긴 영상을 만들기에는 아직 한계가 있습니다.

생성형 AI 영상 도구 비교 분석

• SORA (OpenAI): 텍스트로 고품질 영상 생성. 실사와 애니메이션 모두 가능. 품질과 일관성이 뛰어나지만 일반 접근 제한적.
• Runway Gen-3: 실용적이고 효율적인 영상 생성. 텍스트로 입력 가능. 10초 영상과 연속성 기능 특징적. 사용자 평가 좋음.
• Luma DreamMachine: 창의적이고 독창적인 영상 제작에 특화. 독특한 시각 효과와 세밀한 조정 가능. 새로운 형태의 영상 창작에 적합.

생성형 AI 영상 제작의 미래

Gen-3의 등장으로 AI 영상 제작 기술은 새로운 단계에 진입했습니다. 앞으로 예상되는 변화는 다음과 같습니다:

1. 영화 및 광고 제작 혁신: 전문 제작자들이 Gen-3를 활용해 더 창의적이고 효율적인 영상을 만들 것입니다.
2. 개인 크리에이터 역량 강화: 유튜브, 틱톡 등의 플랫폼에서 개인들이 고품질 영상을 쉽게 제작할 수 있게 됩니다.
3. AI 음악과의 융합: AI 음악 생성 도구(예: Suno)와 결합하여 완전한 멀티미디어 콘텐츠 제작이 가능해집니다.

저 역시 이러한 변화에 동참하여 숏츠 영상 제작을 시작했으며, AI 음악 툴을 활용한 맞춤형 음악 제작과 영상 접목 실험을 진행 중입니다.