主要行业
点击进入可选择细分行业
【免责条款】
1. 用户直接或通过各类方式间接使用慧博投研资讯所提供的服务和数据的行为,都将被视作已无条件接受本声明所涉全部内容;若用户对本声明的任何条款有异议,请停止使用慧博投研资讯所提供的全部服务。
2. 用户需知,研报资料由网友上传,所有权归上传网友所有,慧博投研资讯仅提供存放服务,慧博投研资讯不保证资料内容的合法性、正确性、完整性、真实性或品质;
3. 任何单位或个人若认为慧博投研资讯所提供内容可能存在侵犯第三人著作权的情形,应该及时向慧博投研资讯提出书面权利通知,并提供身份证明、权属证明及详细侵权情况证明。慧博投研资讯将遵循"版权保护投诉指引"处理该信息内容;
4.本条款是本站免责条款的附则,其他更多内容详见本站底部《免责声明》;
核心观点
Sora是第一个表现出"涌现"能力的视频生成模型:随着模型规模增大而出现“理解世界”的能力。http://www.hibor.com.cn【慧博投研资讯】虽然许多LLM,如ChatGPT和GPT-4,表现出涌现能力,但在Sora出现之前,展示类似能力的视觉模型一直很少。http://www.hibor.com.cn(慧博投研资讯)根据Sora的技术报告,它是第一个表现出确认的涌现能力的视觉模型,标志着计算机视觉领域的一个重要里程碑。
Sora的成功源于Diffusion Transformer架构的引入,和过去多年高质量数据的积累。
从架构上看,视频生成模型的技术路线开始收敛,Sora的Diffusion Transformer架构证实了有效scale-up也即是增加算力能够对提升视频生成的精细度和效果,是视频生成领域的"GPT-3时刻"。类似于GPT-3证明了更大的训练量、模型参数量、Token数量,训练效果越好。引入了Transformer的Sora也表现出了同样的趋势,OpenAI进行了32x训练量和1x、4x训练量的对比,从结果上看,32x训练量的生成效果远远强于1x和4x的生成效果。在Sora发布后Google、Snap也发布了采用类似技术的视频生成模型,确定了Diffusion Transformer的视频生成路线,并且算力的需求会大大提升。
从数据上看,高质量的数据对视频生成模型的训练至关重要,Sora利用自有工具增强训练数据集与提示工程。OpenAI训练了专用的视频字幕模型来为视频生成详细描述,生成高质量的视频-字幕对,用于微调Sora以提高其指令跟随能力。同时为了确保用户提示与训练数据中这些描述性标题的格式保持一致,Sora执行了一个额外的提示扩展步骤,即调用GPT-4V模型将用户输入扩展到详细的描述性提示。
我们认为,随着Diffusion Transformer类模型大量应用于图像及视频生成,推理需求将大幅增加,与LLM推理更需要内存带宽的资源需求不同,视觉模型推理将对芯片本身算力和内存容量提出更高要求。Sora的DiT和大语言模型在推理时的逻辑不同,Diffusion需要约20 Steps优化过程,每次均是计算的完整的patch,访存需求也会大大下降,从LLM推理的访存密集型场景转变成算力密集型场景。
Sora高质量的视频生成对影视和游戏行业的影响是最直接而深远的,降低制作门槛并且很有可能重塑影视和游戏制作的流程与格局。高质量的视频生成对于影视行业的工作流会有深远的影响,前期可以替代掉分镜以及概念片制作,后期可以取代部分特效制作。对于游戏行业,游戏开发人员可能会使用它来生成自定义的视觉效果,甚至是从玩家叙述中生成角色动作。
风险提示
模型架构的大幅改变影响算力需求分布
算力速度发展不及预期
中美科技领域政策恶化
为了完善报告评分体系,请在看完报告后理性打个分,以便我们以后为您展示更优质的报告。
您也可以对自己点评与评分的报告在“我的云笔记”里进行复盘管理,方便您的研究与思考,培养良好的思维习惯。
正在加载,请稍候...