Open-Sora:打字就能生成视频,把电影工作室装进电脑
输入一段场景描述,AI 直接生成视频片段,开源版 Sora 来了
它是什么
Open-Sora 是一个开源的 AI 视频生成工具。你只需要用文字描述一个画面,比如「一只橘猫在阳光下的草地上打滚」,它就能生成一段对应的视频片段。
它的名字来源于 OpenAI 的 Sora(一个很火但不对外开放的视频生成模型)。Open-Sora 的目标就是用开源的方式复刻 Sora 的能力,让所有人都能免费使用。
简单说:你当编剧,AI 当摄影师和剪辑师。你写剧本,它帮你拍出来。而且它还支持「训练自己的风格」,比如你可以喂给它一批水墨画风格的图片,让它以后生成的视频都带水墨画的味道。
解决什么问题
传统做视频有多麻烦,做过的人都知道:
- 拍一个 5 秒的空镜头(比如日落、海浪),可能要等半天光线
- 想做动画短片,但不会画画、不会建模
- 需要大量素材但预算有限,买版权素材又贵
- 脑子里有个画面,但找不到任何现成素材能表达
Open-Sora 解决的就是「从想象到画面」的问题。你不需要摄像机、不需要演员、不需要场地,一台性能够用的电脑就行。特别适合独立创作者、小团队、以及想快速验证创意的导演和编剧。
长什么样
Open-Sora 没有花哨的图形界面,它主要通过命令行(就是那个黑底白字的终端窗口)来操作。别被吓到,其实就是打字输入指令而已。
你会看到的主要元素:
- 终端窗口:你输入命令的地方,比如告诉它「生成一段 5 秒的海浪视频」
- 配置文件:一个文本文件,里面写着生成参数(视频多长、分辨率多少、用什么风格)
- 输出文件夹:生成好的视频会自动保存在这里,用任何播放器都能打开
如果你用它的 Web 演示界面(Gradio),会有一个简单的网页:上面一个文本框让你写描述,下面一个按钮点「生成」,再下面就是生成结果的预览。
怎么安装
提前说明:Open-Sora 对电脑配置有要求,需要一块 NVIDIA 显卡,显存至少 12GB(推荐 24GB,比如 RTX 3090/4090)。没有独立显卡的话跑不动。
- 安装 Python:去 python.org 下载 Python 3.10 或 3.11 版本,安装时勾选「Add Python to PATH」
- 安装 Git:去 git-scm.com 下载安装,一路默认即可
- 下载代码:打开终端,输入:
git clone https://github.com/hpcaitech/Open-Sora.git cd Open-Sora - 创建虚拟环境(相当于给这个项目单独装一套工具,不影响电脑其他程序):
(如果没有 conda,先安装 Miniconda)conda create -n opensora python=3.10 -y conda activate opensora - 安装依赖:
pip install -r requirements.txt - 下载预训练模型:项目 README 里有下载链接,把模型文件放到指定文件夹(通常需要几十 GB 空间)
- 启动:
python scripts/inference.py --prompt "a cat playing in the garden" --num_frames 32
怎么用
装好之后,生成视频其实就一步:写描述,然后运行命令。
基础用法:文字生成视频
python scripts/inference.py --prompt "A golden retriever running on the beach at sunset, slow motion, cinematic" --num_frames 64 --resolution 720p翻译一下这条命令:生成一段「金毛犬在日落海滩上奔跑」的视频,慢动作,电影感,64 帧,720p 分辨率。
进阶用法:训练自己的风格
- 准备 20-50 张你想要的风格图片(比如赛博朋克风格的城市照片)
- 把图片放到
data/custom/文件夹 - 运行训练命令:
python scripts/train.py --data_path data/custom/ --style_name cyberpunk --epochs 100 - 训练完成后,生成时加上
--style cyberpunk参数,出来的视频就会带赛博朋克风格
小技巧:描述写得越具体,生成效果越好。不要只写「一只猫」,要写「一只灰色短毛猫趴在窗台上,窗外下着雨,暖黄色灯光,电影质感」。
需要 AI 模型吗?
Open-Sora 本身就是 AI 模型,不需要额外连接其他 AI 服务。但它需要下载预训练的模型权重文件(可以理解为 AI 的「大脑」,里面存着它学会的所有知识)。
模型文件在项目 README 中提供了下载链接,体积较大(几十 GB),需要耐心等待下载完成。
如果你想用额外的 AI 来帮你优化提示词(prompt),可以去模型导航挑一个适合你的 AI 助手 →
费用
软件完全免费,但硬件成本不低。
- 软件本身:免费开源,商用也可以
- 硬件要求:需要 NVIDIA 显卡(12GB 显存起步),一台合格的机器大概 8000-15000 元
- 电费:生成视频时显卡满载运行,比较耗电
- 替代方案:如果不想买显卡,可以租云 GPU(比如 AutoDL),按小时计费,大概几块钱一小时
适合谁
- 独立 filmmaker:想做短片但没预算请摄影团队
- 动画爱好者:不会画画但想做出动画效果
- AI 研究者:想研究视频生成技术、做实验
- 内容创作者:需要大量独特素材,不想用烂大街的素材库
- 技术极客:喜欢折腾、享受从零搭建的过程
注意:这个项目不适合纯新手,需要你会基本的命令行操作,而且对电脑配置有硬性要求。如果你只是想简单生成视频,建议先试试更轻量的工具。
项目地址
GitHub 地址:https://github.com/hpcaitech/Open-Sora
目前已有 23k Star。由 Colossal-AI 团队(做分布式训练框架的)开发,技术实力很强,更新也比较活跃。项目文档写得不错,README 里有详细的安装和使用说明。