オープンLoRA · 音声+映像ストリーミング

無修正 TaoMate-H3:生成中から再生が始まるAI動画

10秒のクリップに3分も待たされると、AI動画の楽しさは台無しです。TaoMate-H3 はそのリズムを変えます。クリップ全体を描画してから見せるのではなく、映像と音声を小さなチャンク単位で生成し、約17秒で最初の再生可能な部分を届けます。淘宝(Taobao)のライブ配信向けAIツールを手がけるアリババ TaoLive AIGC チームがオープンLoRAとして公開したもので、オープンウェイトの MiniMax H3 モデルの上で動作し、プロンプトを与え続ける限り生成を続けます。そのため、トークするホスト、商品デモ、連続ストーリーに自然にフィットします。ここでは、できること、得意な分野、プロンプトの書き方、動かすのに必要なものを解説します。

  • 3ステップLoRA
  • 生成しながら再生
  • 480p · 768p · 1080p
  • オープンウェイト
オンラインでトーク動画を作る

TaoMate-H3 と MiniMax H3 の比較:3分から17秒へ

最大の特長はスピードです。MiniMax H3 は優れたオープンな音声・映像モデルですが、多くの動画生成モデルと同様、1フレームでも見られるようになる前にクリップ全体を仕上げます。TaoMate-H3 は各チャンクをわずか3ステップでノイズ除去するよう学習したLoRAを追加し、チャンクを順番にストリーミング出力します。チーム自身による NVIDIA H20 8枚でのテストでは、10秒・480×864のクリップが183.3秒ではなく17.3秒で視聴可能になり、中核となる拡散処理は約170秒から15秒未満に短縮されました。

メモリ使用量はほとんど変わっていないため、高速化はより大きなマシンによるものではありません。一方、画質や動きの幅に関する比較はチームから公開されていないため、画質は実証済みの改善としてではなく、ご自身の目で判断してください。

公式テスト(8×H20、480×864、10秒)MiniMax H3LoRA適用時改善幅
最初の再生可能な動画183.3秒17.3秒10.6倍高速
最初のチャンク完成170.1秒6.1秒27.7倍高速
拡散(DiT)時間169.6秒14.8秒11.45倍高速
DiTピークメモリ32.03 GiB31.37 GiBほぼ同じ

チャンクごとに3ステップ:音声・映像ストリーミング生成をわかりやすく

レポート全体を待たずに、1ページ仕上がるごとに渡してくれるプリンターを想像してください。モデルは動画とそのサウンドトラックを短いスライスに分け、各スライスを3回のノイズ除去パスで生成します。完成したスライスはメモリキャッシュに書き込まれ、次のスライスはその上に生成されるため、決まった終わりなしにストーリーを続けられます。公式の説明では、10秒のクリップで生成パスは24回、キャッシュ更新は8回です。

長いテイクで顔と声を安定させるのが難しいところです。このプロジェクトの基になった研究論文では、アンカー誘導メモリを導入しています。キャラクターの見た目と声を固定する参照状態で、時間が経っても色のずれや人物の揺らぎを抑えます。映像と音声は同時に生成されるため、口の動き、セリフ、室内の環境音が後付けではなく自然に同期します。

論文のベンチマークは印象的で、GPU3枚で毎秒35フレームを達成し、GPU5枚の LiveAvatar の23、GPU4枚の LongLive-2.0 の16を上回り、リップシンクのスコアもトップでした。ただし、これらの数値は H3 リリースではなく、LTX-2.3 から初期化した220億パラメータの生成モデルで測定されたものなので、このモデル自体の結果ではなく、手法の可能性を示すものと考えてください。リアルタイムAI動画のオープンソース選択肢の中でも、音声と映像を同時にストリーミングできる数少ないモデルの一つです。

リアルタイムで生成される動画チャンクと音声波形を映すモニター。音声・映像のストリーミング生成のイメージ

デジタルヒューマンのホスト、ライブ風の商品デモ、ショートドラマ

淘宝のライブ配信チーム発であることから、真っ先に思い浮かぶ舞台はトークするプレゼンターです。公式の先頭・末尾フレームのデモは、家庭のリビングに座ったホストが収納の整理方法を説明する30秒のクリップで、まさにショッピング配信で一日中流れているような場面です。プロジェクトは本格的なライブコマース製品を約束しているわけではありませんが、安定した顔、自然な声、制作スケジュールを止めない速さの出力という要素はそろっています。

トークするホストと解説動画

プレゼンター1人、部屋1つ、短い区切りに分けた台本。ハウツー動画、暮らしのヒント、カメラの前に親しみやすい顔が必要なチャンネル紹介に最適です。

商品デモと広告の下書き

15秒の売り込み動画を何パターンも下書きし、セリフや商品の見せ方を入れ替えて、本番撮影を手配する前に並べて比較できます。

エピソード形式のショートドラマ

5秒の区切りをつなげて一続きのシーンに。雨、ネオン、ささやくセリフ、そして種明かしまで、区切りごとに同じ俳優を保ちます。

縦型ファーストのSNS動画

768×1376と1088×1920のネイティブ縦型サイズで、トリミングなしでそのままショート動画フィードに使えます。論文では中国語(標準語)と英語の音声もテストされています。

5秒ずつ積み重ねて1分間のAI動画を作る

長尺AI動画こそ、ストリーミングが真価を発揮する場面です。長さは5秒単位のブロックで指定し、全体で1つのプロンプトを使い回すことも、5秒ブロックごとにプロンプト1つ(必要ならシード1つ)を並べたJSONリストを渡すこともできます。絵コンテのように考えてください。ブロック1でホストを紹介し、ブロック2で商品を見せ、ブロック3はクローズアップ。モデルはそれぞれの切り替えを通して同じ人物と部屋を保ちます。公式サンプルは30秒で、論文では1,441フレームの丸1分をテストしています。

出力サイズは3種類で、手早い下書き向けの480p、標準の768p、納品向けの1080pがあり、それぞれ横型と縦型に対応します。先頭・末尾フレーム版は768×1376の縦型、24 fps固定で動作し、各ショットを正確なポーズで始めて終える必要があるときに便利です。

雨のネオン街に立つトレンチコートの男性。長尺AI動画生成で作ったショートドラマの一場面

トークホストと連続シーンのためのプロンプトテンプレート

長いテイクで一貫性を保つコツは繰り返しです。人物の見た目、服装、場所をブロックごとに書き直し、各ブロックのメインアクションは1つだけにし、セリフはかぎ括弧で囲み、音は別に記述します。以下のひな形はこのパターンに沿っており、ご自身の台本の最初の下書きとして使えます。

トークホスト · ブロック1

ミディアムショット、クリーム色のセーターを着た若い女性が明るいリビングのソファに座り、カメラに向かって話しながら、タオルをたたんで収納ボックスに入れる方法を説明している。自然なジェスチャー、暖かい日差し、固定カメラ。音声:はっきりとした女性の声、柔らかな室内の環境音。

トークホスト · ブロック2(続き)

同じ女性、同じクリーム色のセーター、同じリビング。彼女はボックスをカメラに向けて持ち上げ、微笑む:「これならタオルが3枚入ります。」カメラがゆっくりと寄っていく。音声:同じ声、布のかすかな擦れる音。

ショートドラマの一場面

雨の夜の街、黒いトレンチコートの男が振り返る、クローズアップ、彼は低い声で言う:「やっぱり来たんだな。」濡れたアスファルトに映るネオン。音声:降り続く雨、遠くの雷鳴。

成人向け水着スポット(18歳以上、架空のモデル)

20代後半の成人ファッションモデルが赤いビキニ姿で晴れたビーチを歩きながら、カメラに向かって今年の夏の水着について話す。リラックスした笑顔、トラッキングショット。音声:彼女の声、波の音、穏やかなそよ風。

TaoMate-H3-FL2VA と TaoMate-HD:広がるファミリー

プロジェクトの進展は速いです。2026年9月の最初のリリースで、H3 にテキストから音声・映像へのストリーミングが加わりました。2026年10月15日には TaoMate-H3-FL2VA が追加されました。先頭フレームと末尾フレームを受け取り、その間のクリップをストリーミング生成するもので、チームは知る限り初のリアルタイム先頭・末尾フレーム音声・映像モデルだと説明しています。絵コンテで各ショットの始まりと終わりが決まっているときに選ぶべきバージョンです。

2026年11月3日には TaoMate-HD が登場しました。H3 のランタイムをベースに、よりシャープな結果を目指したプログレッシブ生成を採用しており、詳細はプロジェクトページにあります。参照ベースの生成(Ref2AV)は今後提供予定とされていますが、日程はまだ未定です。

Hugging Face と GitHub から TaoMate-H3 を動かす

LoRA自体は小さく、config、アダプターconfig、safetensorsファイル1つ(rank 128)だけで、Hugging Face で公開され ModelScope にミラーがあります。セットアップ手順は GitHub リポジトリにあります。問題はハードウェアで、検証済みの構成は NVIDIA H20 96 GB 8枚のみ、スクリプトはHopper世代のGPU 4枚または8枚に対応しています。

  1. 1Python 3.10 または 3.11、CUDA 12.8、PyTorch 2.8、vLLM 0.11.1、Hopper用 FlashAttention、FFmpeg を備えた Linux を用意します。
  2. 2Hugging Face から MiniMax H3 のベースモデル(model_index.json とそのフォルダー一式)と TaoMate LoRA をダウンロードします。
  3. 3サイズ(480p、768p、1080p)を選び、--duration を5秒の倍数に設定します。
  4. 4クリップ全体に1つの --prompt を渡すか、5秒ブロックごとにプロンプト1つと任意のシードを指定した --prompt-json を渡します。
  5. 5--gpus 4 または 8 で実行し、残りの生成中に最初のチャンクが再生されるのを確認します。
  • GPU要件:最小VRAMは公開されておらず、RTX 4090 や 5090 向けの公式な手段はありません。
  • ComfyUI:公式ノードはまだないため、コマンドラインがサポートされている方法です。
  • オンラインデモ:Hugging Face 上の2つのコミュニティSpaceでブラウザから3ステップモデルを試せるほか、モデルページにはホスト型推論プロバイダーが掲載されています。

クリエイターがこのリリースに注目する理由

オープンでリアルタイムの音声・映像生成は珍しく、それが注目を集めている理由です。約2か月で GitHub リポジトリは800スターを超え、Hugging Face のページには130以上のいいねが集まり、コミュニティは2つの公開デモSpaceを立ち上げました。期待の中心は、クリップがほぼ即座に始まることと、同じ顔を保つ長いテイクです。多くの人を足止めしている最大の要因は要件を見れば明らかで、マルチGPUのデータセンター構成が必要であり、公式のコンシューマー向けGPUや ComfyUI の手段はまだありません。

無修正 TaoMate-H3:オープンウェイトが成人向けクリエイターにもたらすもの

TaoMate-H3 に別途の無修正版はなく、通常の意味では必要もありません。LoRAも H3 のベースもオープンウェイトで、公式ページにはコンテンツフィルターや安全分類器の記載がなく、ローカル実行ではクラウドのモデレーションサービスを経由しないからです。成人向けクリエイターにとっては、ルールはモデル自体のライセンスとご自身の環境によって決まるということです。GPU 8枚の環境がない場合は、Spicy AI が成人の架空キャラクター向けに、フィルターを緩めた同様の画像から動画ツールをオンラインで提供しています。

オリジナルの成人キャラクターの静止画をアップロードして、音声付きで動かしましょう。GPUは不要です。

画像から動画を開く

無修正の代替動画ジェネレーター

オリジナルの成人キャラクターの写真1枚から始めて、動きと話させたいセリフを書くだけで、ブラウザ上で短いトーククリップが作れます。

生成を開始

TaoMate-H3 のセルフホストと Spicy AI でのオンライン生成の比較

自分で動かせばリアルタイムストリーミングと完全なコントロールが得られ、オンラインならその代わりにセットアップ不要です。

ローカル導入(公式ウェイト)Spicy AI オンライン
コンテンツフィルター自分の環境で設定成人向けコンテンツ(18歳以上)向けの緩いフィルター
オープンウェイトあり(LoRA+H3 ベース)不要、ブラウザで動作
実際に使われるモデルMiniMax H3 上の TaoMate LoRAホスト型の画像から動画モデル
始めるための費用Hopper GPU 4〜8枚無料プランあり

よくある質問

TaoMate-H3 とは?

アリババの TaoLive AIGC チームが MiniMax H3 をベースに開発した3ステップLoRAとストリーミングランタイムです。音声と映像をチャンク単位で同時に生成するため、残りを描画している間に再生が始まります。

MiniMax H3 よりどれくらい速いですか?

H20 GPU 8枚、480×864、10秒の公式テストでは、最初の再生可能な動画が183.3秒ではなく17.3秒で届き、拡散時間は11.45倍短くなりました。

RTX 4090 や 5090 で動きますか?

公式にはできません。サポートされるのはHopper GPUのみで、検証済み構成は H20 96 GB 8枚、使用できるGPUは4枚または8枚で、最小VRAMは公開されていません。

先頭・末尾フレームからの動画に対応していますか?

メインリリースはテキストから音声・映像への生成です。先頭・末尾フレームのストリーミングは、2026年10月15日にリリースされた TaoMate-H3-FL2VA で提供されています。参照ベースの生成はまだリリースされていません。

動画はどれくらいの長さにできますか?

長さは5秒単位で伸ばせ、続けて生成できます。公式サンプルは30秒で、論文では1,441フレームの1分間クリップを評価しています。

ComfyUI ノードはありますか?

今のところチームからは提供されていません。サポートされている実行方法は GitHub リポジトリのコマンドラインスクリプトです。

無修正版はありますか?

専用版はありません。ウェイトはオープンで、公式ページには組み込みフィルターの記載がないため、ローカル実行はクラウドのモデレーションではなく H3 コミュニティライセンスに従います。

出典

すべての無修正AIモデルを見る

Sign in

Welcome to Spicy AI

or