克日,,,,,,上海影戏学院、上海影戏特效工程手艺研究中心李梦甜课题组(MAGIC Lab)的前沿研究论文《VERTIGO:Visual Preference Optimization for Cinematic Camera Trajectory Generation》(影戏级摄像机轨迹天生的视觉偏好优化)被第19届欧洲盘算机视觉国际聚会(European Conference on Computer Vision,,,,,,简称 ECCV2026)任命。。。。论文的学生第一作者为2024级硕士研究生陆毓炜,,,,,,学生第二作者为2022级影戏制作专业本科生李菲菲。。。。此项研究获得了国家自然科学基金的支持,,,,,,法国巴黎综合理工学院助理教授王玺加入所作。。。。
ECCV与CVPR、ICCV并称盘算机视觉领域三大国际顶级聚会,,,,,,也是人工智能领域公认的最高水平学术聚会之一,,,,,,每两年举行一届,,,,,,代表了该领域全球最前沿的研究水平。。。。此次论文任命标记着上海影戏学院在“AI+影视”领域的全新突破,,,,,,代表了学院的科研实力获得国际学术界的高度认可。。。。

图1:VERTIGO后逊с法概览与效果比照
在影戏拍摄的历程中,,,,,,导演与摄影师的协同作业组成了镜头语言准确转达的焦点闭环。。。。近年来,,,,,,天生式 AI 在盘算摄影学领域取得了显著突破,,,,,,已能实现基于文本形貌的 3D 摄影机运动轨迹自动天生。。。。然而,,,,,,现在的瓶颈在于,,,,,,主流天生模子普遍缺乏一个能够审阅视觉美学与构图合理性的反馈机制。。。。这种机制缺位导致了严重的“形式与内容脱节”——模子输出的轨迹虽然在几何空间内体现合理,,,,,,但在现实渲染阶段却一再袒露出构图缺陷、主体出画、视觉美学匮乏等问题。。。。
VERTIGO 是首个将视觉偏好优化系统性整合进摄影机轨迹天生的框架,,,,,,开创性地引入了人类导演的审美判断。。。。研究团队通过手艺手段,,,,,,为 AI视频天生模子赋予了一双“审美的眼睛”。。。。这不但是对摄像机几何轨迹的拟合,,,,,,更是对影戏视觉艺术标准的追求,,,,,,标记着视频天生从纯粹的“路径妄想”向更高阶的“美学把控”跨越。。。。
VERTIGO 重构 AI 影戏制作的“虚拟制片”流程。。。。它构建了一个前所未有的高速闭环训练系统,,,,,,彻底突破了古板天生模子“盲拍”的局限。。。。详细而言,,,,,,实时图形引擎饰演了焦点角色。。。。它犹如一个高效的预演。。。。,,,,,能以比扩散模子快数个数目级的效率,,,,,,将 3D 轨迹瞬间渲染为 2D 视觉预览。。。。这种极致的速率,,,,,,让“天生-评估-修正”的训练闭环成为可能。。。。摄影机轨迹天生器充当“摄影师”,,,,,,吸收文本指令,,,,,,天生3D摄影机运动轨迹;;;;;;经由影戏摄影美学微调的视觉大模子充当“导演”,,,,,,自动审片,,,,,,评估镜头的视觉质量;;;;;;“摄影师”与“导演”举行智能博弈。。。。那么,,,,,,怎样让“导演”客观地评价镜头??????VERTIGO立异性地提出了循环语义评分机制,,,,,,摒弃了古板的给画面简朴打一个数字分数的方式,,,,,,转而让视觉大模子用自然语言去反向形貌看到的画面。。。。通过将形貌与原始指令在语义空间比对,,,,,,系统能敏锐捕获到构图的误差——正如导演在复盘时指出“这不是我要的感受”。。。。实验证实,,,,,,这种基于语义的反。。。。,,,,,是唯一能稳固保存摄影细微差别的评分战略。。。。
在数据层面,,,,,,研究团队构建 LenScript 数据集,,,,,,包括 12 万条轨迹、2160 万帧画面,,,,,,笼罩运动类型、景别、拍摄偏向、拍摄角度、画面位置五大影戏摄影维度的细腻标注,,,,,,并支持焦距连续控制,,,,,,是现在规模最大、标注最富厚的镜头轨迹合成数据集。。。。VERTIGO 接纳直接偏好优化(DPO)对天生器举行后训练。。。。在几何指标与现在最优要领持平的同时,,,,,,险些消除了“角色跑出画框”的顽疾。。。。34位用户实验加入者(含11位影戏导演、摄影专业从业者)的评价也一致印证了VERTIGO在构图、指令遵照与视觉美感上的显著优势。。。。
VERTIGO的意义远不止于一项手艺突破。。。。它第一次在死板的几何轨迹和现实的镜头画面之间建设了联系,,,,,,让 AI 天生的镜头不再只是“数学上对”,,,,,,而是“视觉上可用”,,,,,,把盘算影戏摄影真正推向了能用的阶段。。。。在 AIGC 内容井喷确当下,,,,,,VERTIGO 搭建了一条端到端的智能创作流程。。。。其手艺特征展现出极强的普适性:对AI 影戏与预可视化,,,,,,实现从文本到镜头的精准转译,,,,,,降低试错本钱;;;;;;对AI 短剧与漫剧,,,,,,以近乎零出画率的稳固性,,,,,,解决批量生产中的构图崩坏难题;;;;;;对AI 动画,,,,,,强化动态角色追踪能力,,,,,,支持多元气概的艺术表达。。。。
这项效果标记着上海影戏学院正式在国际顶尖学术舞台占有了一席之地。。。。在竞争白热化的AI国际顶级聚会上,,,,,,学院输出了高含金量的手艺效果,,,,,,同时清晰地转达了“上电思绪”:不追求纯粹的算力堆叠与手艺炫技,,,,,,而是坚持让AI手艺服务于影戏艺术创作的实质需求。。。。这种“手艺+艺术”的双重考量,,,,,,为目今偏向工程的 AI 研究领域,,,,,,提供了一个兼具适用价值与人文视角的研究思绪。。。。
西席介绍:

李梦甜,,,,,,工学博士,,,,,,博士后,,,,,,现j9九游会上海影戏学院、上海影戏特效工程手艺研究中心讲师(助理教授),,,,,,MAGIC Lab PI。。。。主要研究偏向为面向影视、游戏与艺术领域的数字内容明确与天生、人机交互、人工智能艺术创作。。。。以第一/通讯作者揭晓CCF A/SCI-Q1论文20余篇,,,,,,国家授权专利多项。。。。主持国自然青年科学基金,,,,,,上海市科委“科技立异行动妄想”面上基金,,,,,,“CCF-网易雷火联合基金”二期,,,,,,入选j9九游会“青年英才启航妄想”。。。。加入国家重点研发妄想、国家社科重大、国自然面上基金(4项)。。。。担当SIGGRAPH、CVPR、ICML、TPAMI等国际顶会顶刊审稿人、期刊编委,,,,,,兼任中国盘算机学会(CCF)、中国影戏电视手艺学会、中国图象图形学学会(CSIG)相关专委会执行委员、常任委员。。。。