2026三大开源小说转视频神器：ViMax+Toonflow一键生成短剧

1. ViMax：多智能体协同的视频生成框架#

项目信息：香港大学团队开发，GitHub Stars 2.3k+，MIT许可

核心功能：

ViMax创新性地将”导演、编剧、制片人、视频生成器”的角色整合到一个多智能体系统中，通过智能体协同实现从想法到完整视频的端到端自动化。其核心特色包括：

• Idea2Video：从简单想法一键生成完整叙事视频

• Script2Video：支持专业电影剧本格式的视频生成

• 智能长脚本生成：基于RAG（检索增强生成）技术处理长篇小说内容

• 表达性故事板设计：使用电影语言创建专业级分镜

• 多相机拍摄模拟：实现沉浸式观看体验

实现原理：

ViMax采用”分层智能体”架构，不同智能体分别负责：

1. 文本分析智能体：使用RAG引擎分析长文本，自动分段为多场景脚本

2. 场景规划智能体：基于脚本生成分镜和镜头设计

3. 角色管理智能体：维护角色参考图像库，确保跨镜头一致性

4. 视觉生成智能体：调用图像生成模型创建场景画面

5. 视频合成智能体：将所有素材组装为最终视频

使用方法：

1
# 从小说章节生成视频
2
idea = """
3
[粘贴小说章节内容，可以是几千字的文本]
4
"""
5
user_requirement = """
6
保持原作的叙事风格，适合成年观众，电影级质量。
7
"""
8
style = "Cinematic"
9
python main_idea2video.py

2. Teller of Tales：书籍章节到有声视频的自动化系统#

项目信息：由开发者dawmro主导，将书籍章节转换为专业配音频的有声视频

核心功能：

Teller of Tales专注于将文学作品转化为视听体验，其技术亮点包括：

• 并发处理管道：文本分割、TTS、图像生成、视频创作并行执行

• 多TTS引擎支持：Edge TTS（默认）和ElevenLabs（高级选项）

• 智能提示词生成：使用ChatGPT、Ollama或KeyBERT提取视觉描述

可以参考Ollama + Open WebUI 本地部署。

• Stable Diffusion集成：支持本地API和Pollinations云服务

• 专业视频合成：基于MoviePy的跨淡入和背景音乐混音

实现原理：

1
输入：story.txt（书籍章节）
2
↓
3
文本预处理：分割句子 → 聚合为150词片段
4
↓
5
并发处理：
6
  - TTS生成音频片段
7
  - LLM生成图像提示词
8
  - Stable Diffusion生成场景图像
9
↓
10
视频剪辑：
11
  - 图像+音频→视频片段
12
  - 添加字幕叠加
13
  - 场景间淡入淡出
14
↓
15
最终合成：background music + 所有片段

使用方法：

1
# 1. 准备内容
2
projects/my_first_story/story.txt
3

4
# 2. 运行管道
5
python teller_of_tales.py
6

7
# 3. 获取输出
8
projects/my_first_story/final.mp4

3. Toonflow：一站式AI短剧创作平台#

项目信息：HBAI-Ltd团队开发，AGPL-3.0许可，专注于小说到短剧的转换

核心功能：

Toonflow填补了文学创作与影视制作之间的技术鸿沟，提供全流程AI化解决方案：

• 智能角色生成：自动分析小说文本，提取角色外貌、性格、背景特征

• 自动化剧本生成：基于选定章节生成结构化影视剧本

• 智能分镜制作：根据剧本自动生成分镜提示词和视觉设计

• 一体化视频合成：集成AI图像与视频生成技术

• 项目管理体系：完整的项目流水线、版本控制、资产库管理

实现原理：

Toonflow采用”五步工作流”：

1. 文本解析：使用NLP技术分析小说内容，提取角色、场景、情节

2. 角色建模：为每个角色建立视觉特征档案

3. 剧本转换：将文学文本转换为影视剧本格式

4. 视觉规划：生成分镜脚本和场景设计方案

5. 视频生成：调用图像和视频生成模型，最终合成

使用方法：

1. 下载并安装Toonflow应用

2. 上传小说文本文件，系统自动解析

3. 使用角色生成功能创建角色设定

4. 选择章节，启动剧本自动生成

5. 进入分镜制作，系统自动生成视觉方案

6. 启动视频合成，监控生成进度

7. 预览并导出最终成品