오픈 LoRA · 오디오 + 비디오 스트리밍
무검열 TaoMate-H3: 아직 만들어지는 중에도 재생이 시작되는 AI 영상
10초짜리 클립 하나를 위해 3분을 기다리다 보면 AI 영상의 재미가 사라집니다. TaoMate-H3는 이 리듬을 바꿉니다. 클립 전체를 렌더링한 뒤에 보여 주는 대신, 영상과 소리를 작은 조각 단위로 만들어 약 17초 만에 재생 가능한 첫 부분을 건네줍니다. 타오바오 라이브 방송 AI 도구를 만든 알리바바 TaoLive AIGC 팀이 오픈 LoRA로 공개했으며, 오픈 웨이트 모델인 MiniMax H3 위에서 동작하고 프롬프트를 계속 넣어 주는 한 멈추지 않고 이어 갑니다. 그래서 말하는 진행자, 제품 데모, 연속 스토리에 자연스럽게 어울립니다. 무엇을 하는지, 어디서 빛나는지, 프롬프트는 어떻게 쓰는지, 실행에는 무엇이 필요한지 정리했습니다.
- 3단계 LoRA
- 렌더링 중 재생
- 480p · 768p · 1080p
- 오픈 웨이트
TaoMate-H3 vs MiniMax H3: 3분에서 17초로
핵심은 속도입니다. MiniMax H3는 강력한 오픈 오디오·비디오 모델이지만, 대부분의 영상 생성기처럼 클립 전체를 끝내야 첫 프레임을 볼 수 있습니다. TaoMate-H3는 각 조각을 단 3단계만에 디노이징하도록 학습된 LoRA를 더하고, 조각을 순서대로 스트리밍합니다. 팀이 NVIDIA H20 8장으로 직접 테스트한 결과, 10초 480×864 클립을 볼 수 있게 되기까지 183.3초가 아닌 17.3초가 걸렸고, 핵심 디퓨전 작업은 약 170초에서 15초 미만으로 줄었습니다.
메모리 사용량은 거의 변하지 않았으므로, 속도 향상은 더 큰 장비 덕분이 아닙니다. 다만 팀은 화질이나 움직임 범위에 대한 나란히 비교 결과를 공개하지 않았으니, 화질은 입증된 장점이라기보다 직접 눈으로 판단할 부분으로 보세요.
| 공식 테스트 (8×H20, 480×864, 10초) | MiniMax H3 | LoRA 적용 | 향상 |
|---|---|---|---|
| 첫 재생 가능 영상 | 183.3초 | 17.3초 | 10.6배 빠름 |
| 첫 완성 조각 | 170.1초 | 6.1초 | 27.7배 빠름 |
| 디퓨전(DiT) 시간 | 169.6초 | 14.8초 | 11.45배 빠름 |
| DiT 최대 메모리 | 32.03 GiB | 31.37 GiB | 거의 동일 |
조각당 3단계: 쉽게 풀어 본 오디오·비디오 스트리밍 생성
보고서 전체를 기다리지 않고 페이지가 준비되는 대로 바로 건네주는 프린터를 떠올려 보세요. 모델은 영상과 사운드트랙을 짧은 조각으로 나누고, 각 조각을 세 번의 디노이징 패스로 만들어 냅니다. 완성된 조각은 메모리 캐시에 기록되고 다음 조각은 그 위에서 생성되므로, 정해진 끝 없이 이야기를 이어 갈 수 있습니다. 공식 설명에 따르면 10초 클립에는 24번의 생성 패스와 8번의 캐시 업데이트가 들어갑니다.
긴 테이크에서 얼굴과 목소리를 안정적으로 유지하는 것이 가장 어렵습니다. 프로젝트의 기반이 된 연구 논문은 앵커 기반 메모리를 도입합니다. 캐릭터의 외모와 목소리를 고정하는 기준 상태로, 시간이 흘러도 색감 변화와 정체성 흔들림을 줄여 줍니다. 영상과 소리가 함께 생성되기 때문에 입 모양, 말소리, 공간음이 나중에 덧붙여지는 대신 처음부터 맞물립니다.
논문의 벤치마크도 인상적입니다. GPU 3장으로 초당 35프레임을 달성해, GPU 5장의 LiveAvatar(23프레임)와 GPU 4장의 LongLive-2.0(16프레임)을 앞섰고, 립싱크 점수도 최고였습니다. 다만 이 수치는 H3 릴리스가 아니라 LTX-2.3에서 초기화한 220억 파라미터 생성기로 측정한 것이므로, 이 모델의 결과라기보다 방법론의 가능성을 보여 준다고 봐야 합니다. 실시간 AI 영상용 오픈소스 선택지 가운데 소리와 영상을 함께 스트리밍하는 몇 안 되는 모델입니다.

디지털 휴먼 진행자, 라이브 스타일 제품 데모, 숏드라마
타오바오 라이브 방송 팀에서 나온 만큼, 가장 자연스러운 무대는 말하는 진행자입니다. 공식 첫·끝 프레임 데모는 가정집 거실에 앉은 진행자가 수납 정리법을 설명하는 30초 클립으로, 쇼핑 라이브에서 하루 종일 볼 수 있는 바로 그런 장면입니다. 프로젝트가 완성된 라이브 커머스 제품을 약속하지는 않지만, 재료는 갖춰져 있습니다. 안정적인 얼굴, 자연스러운 목소리, 그리고 제작 일정을 멈추지 않을 만큼 빠르게 나오는 결과물입니다.
말하는 진행자와 설명 영상
진행자 한 명, 공간 하나, 짧은 구간으로 나눈 대본. 카메라 앞에 친근한 얼굴이 필요한 하우투 클립, 생활 팁, 채널 소개 영상에 제격입니다.
제품 데모와 광고 시안
15초 홍보 영상을 여러 버전으로 만들어 대사나 제품 각도를 바꿔 보고, 실제 촬영을 잡기 전에 나란히 비교해 보세요.
에피소드형 숏드라마
5초 구간을 이어 하나의 연속된 장면을 만듭니다. 비, 네온, 속삭이는 대사, 반전까지, 구간마다 같은 배우가 유지됩니다.
세로형 우선 소셜 영상
기본 지원되는 768×1376 및 1088×1920 세로 해상도는 자르지 않고 바로 숏폼 피드에 올릴 수 있습니다. 논문에서는 중국어와 영어 음성도 테스트했습니다.
5초씩 쌓아 1분짜리 AI 영상 만들기
스트리밍의 진가는 긴 AI 영상에서 드러납니다. 길이는 5초 블록 단위로 정하며, 전체에 프롬프트 하나를 재사용하거나 5초 블록마다 프롬프트 하나와 선택적으로 시드 하나를 담은 JSON 목록을 넘길 수 있습니다. 스토리보드라고 생각하면 됩니다. 블록 1은 진행자 소개, 블록 2는 제품, 블록 3은 클로즈업이고, 모델은 장면이 바뀌어도 같은 인물과 공간을 이어 갑니다. 공식 예시는 30초이며, 논문에서는 1,441프레임의 1분 전체를 테스트했습니다.
출력 크기는 세 가지입니다. 빠른 시안용 480p, 기본값인 768p, 납품용 1080p이며 각각 가로와 세로를 지원합니다. 첫·끝 프레임 버전은 768×1376 세로, 24 fps 고정으로 동작해, 모든 샷이 정확한 포즈로 시작하고 끝나야 할 때 유용합니다.

말하는 진행자와 연속 장면을 위한 프롬프트 템플릿
긴 테이크를 일관되게 유지하는 비결은 반복입니다. 블록마다 인물의 외모, 의상, 배경을 다시 적고, 블록당 주요 동작은 하나만 주며, 대사는 따옴표로 묶고 소리는 따로 묘사하세요. 아래 예시는 이 패턴을 따르며, 여러분의 대본 초안으로 활용할 수 있습니다.
말하는 진행자 · 블록 1
미디엄 숏, 크림색 스웨터를 입은 젊은 여성이 밝은 거실 소파에 앉아 카메라를 보며 수건을 수납함에 접어 넣는 방법을 설명한다, 자연스러운 손짓, 따뜻한 햇빛, 고정된 카메라. 오디오: 또렷한 여성 목소리, 잔잔한 실내 공간음.
말하는 진행자 · 블록 2 (이어지기)
같은 여성, 같은 크림색 스웨터, 같은 거실. 그녀가 상자를 카메라 쪽으로 들어 올리며 미소 짓는다: "여기에 수건이 세 장 들어가요." 카메라가 천천히 다가간다. 오디오: 같은 목소리, 가벼운 천 스치는 소리.
숏드라마 한 장면
비 내리는 밤거리, 검은 트렌치코트를 입은 남자가 돌아선다, 클로즈업, 그가 낮은 목소리로 말한다: "결국 왔군." 젖은 아스팔트에 비친 네온. 오디오: 꾸준한 빗소리, 멀리서 들리는 천둥.
성인 수영복 광고 (18+, 가상 모델)
빨간 비키니를 입은 20대 후반의 성인 패션 모델이 햇살 가득한 해변을 걸으며 카메라를 향해 올여름 수영복에 대해 이야기한다, 여유로운 미소, 트래킹 숏. 오디오: 그녀의 목소리, 파도 소리, 부드러운 바람.
TaoMate-H3-FL2VA와 TaoMate-HD: 확장되는 모델 패밀리
프로젝트는 빠르게 움직입니다. 2026년 9월 첫 릴리스는 H3에 텍스트-오디오·비디오 스트리밍을 가져왔습니다. 2026년 10월 15일에는 TaoMate-H3-FL2VA가 추가되었는데, 첫 프레임과 끝 프레임을 받아 그 사이 클립을 스트리밍하며, 팀은 자신들이 아는 한 최초의 실시간 첫·끝 프레임 오디오·비디오 모델이라고 설명합니다. 스토리보드에서 각 샷의 시작과 끝이 정해져 있다면 이 버전을 쓰면 됩니다.
2026년 11월 3일에는 TaoMate-HD가 나왔습니다. H3 런타임을 바탕으로 더 선명한 결과를 위한 점진적 생성을 더한 모델로, 자세한 내용은 프로젝트 페이지에 있습니다. 레퍼런스 기반 생성(Ref2AV)은 추후 공개 예정으로 표시되어 있으며, 아직 날짜는 정해지지 않았습니다.
Hugging Face와 GitHub에서 TaoMate-H3 실행하기
LoRA 자체는 작습니다. config, adapter config, safetensors 파일 하나(rank 128)뿐이며, Hugging Face에 공개되어 있고 ModelScope 미러도 있습니다. 설치 방법은 GitHub 저장소에 있습니다. 문제는 하드웨어입니다. 검증된 구성은 NVIDIA H20 96 GB 8장뿐이며, 스크립트는 Hopper급 GPU 4장 또는 8장을 지원합니다.
- 1Python 3.10 또는 3.11, CUDA 12.8, PyTorch 2.8, vLLM 0.11.1, Hopper용 FlashAttention, FFmpeg가 설치된 Linux 환경을 준비합니다.
- 2Hugging Face에서 MiniMax H3 베이스 모델(model_index.json과 해당 폴더들)과 TaoMate LoRA를 내려받습니다.
- 3크기(480p, 768p 또는 1080p)를 고르고 --duration을 5초의 배수로 설정합니다.
- 4클립 전체에 --prompt 하나를 넘기거나, 5초 블록마다 프롬프트와 선택적 시드를 담은 --prompt-json을 넘깁니다.
- 5--gpus 4 또는 8로 실행하고, 나머지가 생성되는 동안 첫 조각들이 재생되는 것을 확인합니다.
- GPU 요구 사항: 최소 VRAM은 공개되지 않았고, RTX 4090이나 5090 카드를 위한 공식 경로도 없습니다.
- ComfyUI: 아직 공식 노드가 없으므로 커맨드라인이 지원되는 방법입니다.
- 온라인 데모: Hugging Face의 커뮤니티 Space 두 곳에서 브라우저로 3단계 모델을 써 볼 수 있으며, 모델 페이지에는 호스팅 추론 제공업체도 나와 있습니다.
크리에이터들이 이 릴리스를 주목하는 이유
오픈된 실시간 오디오·비디오 생성은 드물고, 바로 그 점이 사람들의 관심을 끌고 있습니다. 약 두 달 만에 GitHub 저장소는 별 800개를 넘었고, Hugging Face 페이지는 좋아요 130개 이상을 모았으며, 커뮤니티는 공개 데모 Space 두 개를 만들었습니다. 기대는 클립이 거의 즉시 시작되는 모습과 같은 얼굴을 유지하는 긴 테이크에 쏠려 있습니다. 대부분의 사람들을 망설이게 하는 가장 큰 요인은 요구 사항에 그대로 드러납니다. 멀티 GPU 데이터센터 환경이 필요하고, 아직 공식 소비자용 그래픽카드나 ComfyUI 경로가 없다는 점입니다.
무검열 TaoMate-H3: 오픈 웨이트가 성인 크리에이터에게 의미하는 것
TaoMate-H3의 별도 무검열 에디션은 없으며, 일반적인 의미로는 필요하지도 않습니다. LoRA와 H3 베이스 모두 오픈 웨이트이고, 공식 페이지에는 콘텐츠 필터나 안전 분류기에 대한 언급이 없으며, 로컬 실행은 클라우드 검열 서비스를 거치지 않습니다. 성인 크리에이터에게 이는 규칙이 모델 자체의 라이선스와 여러분의 환경에 의해 정해진다는 뜻입니다. GPU 8장 장비가 없다면, Spicy AI가 성인 가상 캐릭터를 위한 비슷한 완화 필터 이미지-투-비디오 도구를 온라인으로 제공합니다.
직접 만든 성인 캐릭터의 정지 이미지를 업로드하고 소리와 함께 생동감을 불어넣으세요. GPU는 필요 없습니다.
이미지-투-비디오 열기무검열 대안 영상 생성기
직접 만든 성인 캐릭터 사진 한 장에서 시작해 움직임과 말할 대사를 묘사하면, 브라우저에서 짧은 말하는 클립을 받아 볼 수 있습니다.
생성 시작TaoMate-H3 직접 호스팅 vs Spicy AI 온라인 생성
직접 실행하면 실시간 스트리밍과 완전한 제어권을 얻고, 온라인 방식은 그 대신 설정이 전혀 필요 없습니다.
| 로컬 배포 (공식 웨이트) | Spicy AI 온라인 | |
|---|---|---|
| 콘텐츠 필터 | 직접 구성한 환경에 따라 설정 | 성인 콘텐츠(18+)를 위한 완화된 필터 |
| 오픈 웨이트 | 예 (LoRA + H3 베이스) | 필요 없음, 브라우저에서 실행 |
| 실제 사용 모델 | MiniMax H3 기반 TaoMate LoRA | 호스팅 이미지-투-비디오 모델 |
| 시작 비용 | Hopper GPU 4~8장 | 무료 플랜 제공 |
자주 묻는 질문
TaoMate-H3란 무엇인가요?
알리바바 TaoLive AIGC 팀이 MiniMax H3 위에 만든 3단계 LoRA이자 스트리밍 런타임입니다. 오디오와 비디오를 조각 단위로 함께 생성하므로, 나머지가 렌더링되는 동안 재생이 시작됩니다.
MiniMax H3보다 얼마나 빠른가요?
H20 GPU 8장, 480×864, 10초 조건의 공식 테스트에서 첫 재생 가능 영상이 183.3초가 아닌 17.3초 만에 나왔고, 디퓨전 시간은 11.45배 짧아졌습니다.
RTX 4090이나 5090에서 실행할 수 있나요?
공식적으로는 안 됩니다. Hopper GPU만 지원되고, 검증된 구성은 H20 96 GB 8장이며, GPU 4장 또는 8장을 사용할 수 있고, 최소 VRAM은 공개되지 않았습니다.
첫·끝 프레임 영상을 지원하나요?
메인 릴리스는 텍스트-오디오·비디오입니다. 첫·끝 프레임 스트리밍은 2026년 10월 15일에 공개된 TaoMate-H3-FL2VA가 담당합니다. 레퍼런스 기반 생성은 아직 출시되지 않았습니다.
영상은 얼마나 길게 만들 수 있나요?
길이는 5초 단위로 늘어나며 계속 이어 갈 수 있습니다. 공식 샘플은 30초이고, 논문에서는 1,441프레임의 1분 클립을 평가했습니다.
ComfyUI 노드가 있나요?
아직 팀에서 제공한 것은 없습니다. 지원되는 실행 방법은 GitHub 저장소의 커맨드라인 스크립트입니다.
무검열 버전이 있나요?
전용 버전은 없습니다. 웨이트가 공개되어 있고 공식 페이지에는 내장 필터에 대한 언급이 없으므로, 로컬 실행은 클라우드 검열이 아닌 H3 커뮤니티 라이선스의 적용을 받습니다.
