LoRA mở · âm thanh + video phát trực tiếp

TaoMate-H3 Không Kiểm Duyệt: Video AI Bắt Đầu Phát Ngay Khi Vẫn Đang Được Tạo

Chờ ba phút cho một clip mười giây làm mất hết niềm vui của video AI. TaoMate-H3 thay đổi nhịp điệu đó: thay vì dựng xong toàn bộ clip rồi mới hiển thị, nó tạo hình ảnh và âm thanh theo từng đoạn nhỏ và trao cho bạn phần đầu tiên có thể phát sau khoảng 17 giây. Được phát hành dưới dạng LoRA mở bởi nhóm Alibaba TaoLive AIGC, đội ngũ đứng sau các công cụ AI livestream của Taobao, nó chạy trên nền mô hình trọng số mở MiniMax H3 và tiếp tục chạy chừng nào bạn còn đưa prompt vào. Điều đó khiến nó rất phù hợp cho người dẫn nói chuyện, demo sản phẩm và các câu chuyện nhiều tập. Dưới đây là những gì nó làm được, điểm mạnh của nó, cách viết prompt và những gì cần để chạy nó.

  • LoRA 3 bước
  • Phát trong khi dựng
  • 480p · 768p · 1080p
  • Trọng số mở
Tạo video nói chuyện trực tuyến

TaoMate-H3 và MiniMax H3: từ ba phút xuống mười bảy giây

Điểm nổi bật là tốc độ. MiniMax H3 là một mô hình âm thanh-video mở mạnh mẽ, nhưng giống như hầu hết các trình tạo video, nó phải hoàn thành toàn bộ clip trước khi bạn xem được dù chỉ một khung hình. TaoMate-H3 bổ sung một LoRA được huấn luyện để khử nhiễu mỗi đoạn chỉ trong ba bước, rồi phát các đoạn ra theo thứ tự. Trong thử nghiệm riêng của nhóm trên tám card NVIDIA H20, một clip mười giây 480×864 có thể xem được sau 17,3 giây thay vì 183,3 giây, và phần khuếch tán cốt lõi giảm từ gần 170 giây xuống dưới 15 giây.

Mức dùng bộ nhớ gần như không đổi, nên việc tăng tốc không đến từ một cỗ máy lớn hơn. Điều nhóm chưa công bố là so sánh trực tiếp về chất lượng hình ảnh hay biên độ chuyển động, vì vậy hãy coi chất lượng hình ảnh là thứ bạn tự đánh giá bằng mắt thay vì một ưu thế đã được chứng minh.

Thử nghiệm của nhóm phát triển (8×H20, 480×864, 10 s)MiniMax H3Với LoRAMức cải thiện
Video đầu tiên có thể phát183,3 s17,3 sNhanh hơn 10,6×
Đoạn đầu tiên hoàn thành170,1 s6,1 sNhanh hơn 27,7×
Thời gian khuếch tán (DiT)169,6 s14,8 sNhanh hơn 11,45×
Bộ nhớ DiT tối đa32,03 GiB31,37 GiBGần như tương đương

Ba bước mỗi đoạn: tạo âm thanh-video dạng phát trực tiếp, giải thích dễ hiểu

Hãy hình dung một chiếc máy in đưa cho bạn từng trang ngay khi in xong thay vì chờ cả bản báo cáo. Mô hình cắt video và nhạc nền của nó thành các lát ngắn và tạo mỗi lát qua ba lượt khử nhiễu. Mỗi lát hoàn thành được ghi vào bộ nhớ đệm, và lát tiếp theo được tạo dựa trên đó, nên câu chuyện có thể tiếp tục mà không có điểm kết thúc cố định. Với clip mười giây, tài liệu của nhóm phát triển ghi nhận 24 lượt tạo và 8 lần cập nhật bộ nhớ đệm.

Giữ khuôn mặt và giọng nói ổn định trong một cảnh quay dài là phần khó nhất. Bài báo nghiên cứu đứng sau dự án giới thiệu bộ nhớ dẫn hướng bằng neo: một trạng thái tham chiếu cố định ngoại hình và giọng nói của nhân vật, giúp giảm lệch màu và dao động danh tính theo thời gian. Hình ảnh và âm thanh được tạo cùng lúc, nên khẩu hình, lời nói và âm thanh phòng luôn khớp nhau thay vì bị ghép vào sau.

Các điểm chuẩn trong bài báo rất ấn tượng, với 35 khung hình mỗi giây trên ba GPU so với 23 của LiveAvatar trên năm GPU và 16 của LongLive-2.0 trên bốn GPU, cùng điểm khớp khẩu hình cao nhất. Lưu ý rằng các con số này được đo trên một trình tạo 22 tỷ tham số khởi tạo từ LTX-2.3, không phải trên bản phát hành H3, nên chúng cho thấy tiềm năng của phương pháp chứ không phải kết quả của chính mô hình này. Trong số các lựa chọn mã nguồn mở cho video AI thời gian thực, đây là một trong số ít mô hình phát trực tiếp cả âm thanh lẫn hình ảnh cùng lúc.

Màn hình hiển thị các đoạn video và dạng sóng âm thanh được tạo theo thời gian thực, minh họa việc tạo âm thanh video dạng phát trực tiếp

Người dẫn kỹ thuật số, demo sản phẩm kiểu livestream và phim ngắn

Vì đến từ nhóm livestream của Taobao, sân khấu hiển nhiên nhất là người dẫn nói chuyện. Bản demo khung đầu và khung cuối của nhóm phát triển là một clip 30 giây về người dẫn ngồi trong phòng khách gia đình giải thích cách sắp xếp đồ đạc, đúng kiểu phân đoạn mà các buổi livestream mua sắm phát cả ngày. Dự án không hề hứa hẹn một sản phẩm thương mại trực tiếp hoàn chỉnh, nhưng các thành phần đã có sẵn: khuôn mặt ổn định, giọng nói tự nhiên và đầu ra đến đủ nhanh để giữ tiến độ sản xuất.

Người dẫn nói chuyện và video giải thích

Một người dẫn, một căn phòng, một kịch bản chia thành các nhịp ngắn. Lý tưởng cho clip hướng dẫn, mẹo gia đình và phần giới thiệu kênh cần một gương mặt thân thiện trước máy quay.

Demo sản phẩm và bản nháp quảng cáo

Soạn nhiều phiên bản của một đoạn chào hàng 15 giây, đổi câu thoại hoặc góc giới thiệu sản phẩm, rồi so sánh chúng cạnh nhau trước khi đặt lịch quay thật.

Phim ngắn theo tập

Nối các nhịp năm giây thành một cảnh liền mạch. Mưa, đèn neon, một câu thì thầm và một cú lật mở, tất cả đều giữ cùng một diễn viên từ nhịp này sang nhịp khác.

Video mạng xã hội ưu tiên khung dọc

Kích thước dọc gốc 768×1376 và 1088×1920 đưa thẳng vào các bảng tin video ngắn mà không cần cắt. Bài báo cũng đã thử nghiệm lời nói tiếng Quan Thoại và tiếng Anh.

Dựng video AI một phút, mỗi lần năm giây

Video AI dài là nơi việc phát trực tiếp thực sự phát huy giá trị. Độ dài được đặt theo các khối năm giây, và bạn có thể dùng lại một prompt duy nhất cho cả lượt chạy hoặc truyền một danh sách JSON với một prompt, và tùy chọn một seed, cho mỗi khối năm giây. Hãy coi nó như một bảng phân cảnh: khối một giới thiệu người dẫn, khối hai trình bày sản phẩm, khối ba là cận cảnh, và mô hình giữ nguyên cùng một người và căn phòng qua mỗi thay đổi. Các ví dụ của nhóm phát triển dài 30 giây, và bài báo thử nghiệm trọn một phút với 1.441 khung hình.

Đầu ra có ba kích thước: 480p cho bản nháp nhanh, 768p là mặc định và 1080p để bàn giao, mỗi loại đều có khung ngang hoặc dọc. Biến thể khung đầu và khung cuối chạy cố định 24 fps ở khung dọc 768×1376, rất tiện khi mỗi cảnh quay phải bắt đầu và kết thúc ở một tư thế chính xác.

Cảnh phố neon dưới mưa với người đàn ông mặc áo khoác trench, một cảnh phim ngắn được tạo bằng công nghệ tạo video AI dài

Mẫu prompt cho người dẫn nói chuyện và cảnh nối tiếp

Bí quyết để có cảnh quay dài nhất quán là sự lặp lại. Nhắc lại ngoại hình, trang phục và bối cảnh của nhân vật trong mỗi khối, chỉ giao cho mỗi khối một hành động chính, đặt lời thoại trong dấu ngoặc kép và mô tả âm thanh riêng. Các mẫu khởi đầu này tuân theo cách đó và có thể dùng làm bản nháp đầu tiên cho kịch bản của riêng bạn.

Người dẫn nói chuyện · khối 1

Cảnh trung, một phụ nữ trẻ mặc áo len màu kem ngồi trên ghế sofa trong phòng khách sáng sủa, nói trước máy quay, giải thích cách gấp khăn tắm vào hộp đựng đồ, cử chỉ tự nhiên, ánh sáng ban ngày ấm áp, máy quay cố định. Âm thanh: giọng nữ rõ ràng, âm thanh phòng nhẹ nhàng.

Người dẫn nói chuyện · khối 2 (tiếp nối)

Cùng người phụ nữ đó, cùng chiếc áo len màu kem, cùng phòng khách. Cô ấy nâng chiếc hộp về phía máy quay và mỉm cười: "Hộp này vừa ba chiếc khăn." Máy quay từ từ tiến vào. Âm thanh: cùng giọng nói, tiếng vải sột soạt nhẹ.

Nhịp phim ngắn

Đường phố ban đêm dưới mưa, một người đàn ông mặc áo khoác trench đen quay lại, cận cảnh, anh nói bằng giọng trầm: "Rốt cuộc em cũng đến." Ánh neon phản chiếu trên mặt đường nhựa ướt. Âm thanh: mưa rơi đều, sấm xa xa.

Đoạn quảng cáo đồ bơi người lớn (18+, người mẫu hư cấu)

Một người mẫu thời trang trưởng thành gần ba mươi tuổi mặc bikini đỏ bước dọc bãi biển đầy nắng và nói trước máy quay về đồ bơi mùa hè năm nay, nụ cười thư thái, cảnh quay theo chuyển động. Âm thanh: giọng cô ấy, tiếng sóng, gió nhẹ.

TaoMate-H3-FL2VA và TaoMate-HD: gia đình mô hình ngày càng lớn

Dự án phát triển rất nhanh. Bản phát hành đầu tiên vào tháng 9 năm 2026 mang tính năng phát trực tiếp văn bản thành âm thanh-video đến H3. Ngày 15 tháng 10 năm 2026, nhóm bổ sung TaoMate-H3-FL2VA, nhận khung đầu và khung cuối rồi phát trực tiếp clip ở giữa, được nhóm mô tả là, theo hiểu biết của họ, mô hình âm thanh-video khung đầu và khung cuối thời gian thực đầu tiên. Đó là phiên bản nên dùng khi bảng phân cảnh đã xác định rõ mỗi cảnh quay bắt đầu và kết thúc thế nào.

Ngày 3 tháng 11 năm 2026 ra mắt TaoMate-HD, xây dựng trên runtime H3 với cơ chế tạo lũy tiến nhằm cho kết quả sắc nét hơn; trang dự án của nó có thông tin chi tiết. Tạo dựa trên tham chiếu (Ref2AV) được liệt kê là sẽ ra mắt sau, chưa có ngày cụ thể.

Chạy TaoMate-H3 từ Hugging Face và GitHub

Bản thân LoRA rất nhỏ, chỉ gồm một config, một adapter config và một tệp safetensors (rank 128), được công bố trên Hugging Face kèm bản sao trên ModelScope. Hướng dẫn cài đặt nằm trong kho GitHub. Điểm vướng là phần cứng: cấu hình duy nhất đã được xác minh là tám card NVIDIA H20 96 GB, và các script chấp nhận bốn hoặc tám GPU dòng Hopper.

  1. 1Chuẩn bị Linux với Python 3.10 hoặc 3.11, CUDA 12.8, PyTorch 2.8, vLLM 0.11.1, FlashAttention cho Hopper và FFmpeg.
  2. 2Tải mô hình nền MiniMax H3 (model_index.json cùng các thư mục của nó) và TaoMate LoRA từ Hugging Face.
  3. 3Chọn kích thước (480p, 768p hoặc 1080p) và đặt --duration là bội số của 5 giây.
  4. 4Truyền một --prompt cho toàn bộ clip, hoặc --prompt-json với một prompt và seed tùy chọn cho mỗi khối năm giây.
  5. 5Chạy với --gpus 4 hoặc 8 và xem các đoạn đầu tiên phát trong khi phần còn lại vẫn đang được tạo.
  • Yêu cầu GPU: chưa công bố VRAM tối thiểu và chưa có cách chạy chính thức trên card RTX 4090 hoặc 5090.
  • ComfyUI: chưa có node chính thức nào, nên dòng lệnh là cách được hỗ trợ.
  • Demo trực tuyến: hai Space cộng đồng trên Hugging Face cho phép bạn thử mô hình 3 bước trên trình duyệt, và trang mô hình có liệt kê một nhà cung cấp suy luận được lưu trữ.

Vì sao giới sáng tạo đang theo dõi bản phát hành này

Tạo âm thanh-video mở theo thời gian thực rất hiếm, và đó là điều khiến mọi người chú ý. Chỉ trong khoảng hai tháng, kho GitHub đã vượt 800 sao, trang Hugging Face thu về hơn 130 lượt thích và cộng đồng đã dựng hai Space demo công khai. Sự hào hứng tập trung vào việc thấy clip bắt đầu gần như ngay lập tức và các cảnh quay dài giữ nguyên một khuôn mặt. Rào cản chính với hầu hết mọi người hiện rõ trong phần yêu cầu: một hệ thống nhiều GPU cấp trung tâm dữ liệu, chưa có cách chính thức cho card phổ thông hay ComfyUI.

TaoMate-H3 không kiểm duyệt: trọng số mở có ý nghĩa gì với nhà sáng tạo nội dung người lớn

Không có phiên bản không kiểm duyệt riêng của TaoMate-H3, và theo nghĩa thông thường thì cũng không cần: cả LoRA lẫn mô hình nền H3 đều là trọng số mở, các trang của nhóm phát triển không mô tả bộ lọc nội dung hay bộ phân loại an toàn nào, và khi chạy cục bộ thì không đi qua dịch vụ kiểm duyệt đám mây nào. Với nhà sáng tạo nội dung người lớn, điều đó có nghĩa là các quy tắc do giấy phép của chính mô hình và cấu hình của bạn quyết định. Nếu bạn không có hệ thống tám GPU, Spicy AI cung cấp một công cụ ảnh thành video trực tuyến với bộ lọc nới lỏng tương tự cho các nhân vật hư cấu, trưởng thành.

Tải lên ảnh tĩnh của nhân vật trưởng thành do bạn sáng tạo và thổi hồn cho nó cùng âm thanh, không cần GPU.

Mở ảnh thành video

Trình Tạo Video Thay Thế Không Kiểm Duyệt

Bắt đầu từ một bức ảnh của nhân vật trưởng thành do bạn sáng tạo, mô tả chuyển động và câu thoại họ cần nói, rồi nhận một clip nói chuyện ngắn ngay trên trình duyệt.

Bắt đầu tạo

Tự triển khai TaoMate-H3 và tạo trực tuyến trên Spicy AI

Tự chạy mang lại cho bạn khả năng phát trực tiếp thời gian thực và toàn quyền kiểm soát; cách trực tuyến đánh đổi điều đó để không cần cài đặt gì.

Triển khai cục bộ (trọng số gốc)Spicy AI trực tuyến
Bộ lọc nội dungBạn tự cấu hình hệ thống của mìnhBộ lọc nới lỏng cho nội dung người lớn (18+)
Trọng số mởCó (LoRA + nền H3)Không cần, chạy trên trình duyệt
Mô hình thực sự được dùngTaoMate LoRA trên MiniMax H3Một mô hình ảnh thành video được lưu trữ
Chi phí để bắt đầuBốn đến tám GPU HopperCó gói miễn phí

Câu hỏi thường gặp

TaoMate-H3 là gì?

Một LoRA 3 bước và runtime phát trực tiếp xây dựng trên MiniMax H3 bởi nhóm TaoLive AIGC của Alibaba. Nó tạo âm thanh và video cùng lúc theo từng đoạn, nên việc phát bắt đầu trong khi phần còn lại vẫn đang dựng.

Nó nhanh hơn MiniMax H3 bao nhiêu?

Trong thử nghiệm của nhóm phát triển trên tám GPU H20 ở 480×864 trong 10 giây, video đầu tiên có thể phát xuất hiện sau 17,3 giây so với 183,3 giây, và thời gian khuếch tán ngắn hơn 11,45 lần.

Nó có chạy được trên RTX 4090 hoặc 5090 không?

Không chính thức. Chỉ hỗ trợ GPU Hopper, cấu hình đã xác minh là tám card H20 96 GB, có thể dùng bốn hoặc tám GPU, và chưa công bố VRAM tối thiểu.

Nó có hỗ trợ video khung đầu và khung cuối không?

Bản phát hành chính là văn bản thành âm thanh-video. Phát trực tiếp khung đầu và khung cuối đến từ TaoMate-H3-FL2VA, phát hành ngày 15 tháng 10 năm 2026. Tạo dựa trên tham chiếu vẫn chưa ra mắt.

Video có thể dài bao nhiêu?

Độ dài tăng theo từng bước năm giây và có thể tiếp tục kéo dài. Các mẫu của nhóm phát triển dài 30 giây, và bài báo đánh giá các clip một phút gồm 1.441 khung hình.

Có node ComfyUI không?

Hiện chưa có từ nhóm phát triển. Cách được hỗ trợ để chạy là các script dòng lệnh trong kho GitHub.

Có phiên bản không kiểm duyệt không?

Không có phiên bản riêng nào. Trọng số là mở và các trang của nhóm phát triển không mô tả bộ lọc tích hợp nào, nên việc chạy cục bộ chịu sự điều chỉnh của giấy phép cộng đồng H3 thay vì kiểm duyệt đám mây.

Nguồn tham khảo

Xem tất cả mô hình AI không kiểm duyệt

Sign in

Welcome to Spicy AI

or