编者按：近年来，视频的多种呈现形式得到了更多行业的认可，视频技术在跨行业的应用被赋予了更多的可能性和兴趣。不同行业制作内容的多样性和差异化进一步增加了视频内容升级的需求。作为专业的音视频技术服务商，腾云网络提出了影视级跨平台视频制作技术解决方案并应用于实际案例。在场景中。 2022影音技术大会上海站特邀腾云网络李志强先生与我们分享影视级跨平台视频制作技术的实施实践。主要包括3个部分：1.解决方案背景下的痛点分析和技术解决方案； 2.应用案例效果分享与展示； 3. 技术挑战与实战方案分享。

文/李志强

组织/

大家好，我是腾云网络的李志强，我叫节子。我们目前正在研究的解决方案是 VE 视频引擎。这次想和大家分享的是电影级跨平台视频制作技术的落地实践。这里想和大家讨论两个话题：一是电影级跨平台视频制作技术本身的技术架构，以及它在场景中能解决哪些问题。其次，在复杂的跨平台场景下，我们可以通过哪些方式向客户呈现电影级的画面？

1、背景与方案

首先，我想和大家分享一下我们观察到的行业对影视视频制作技术需求的变化。

我简单将整体市场需求背景分为三个主要方面：一是追求视频内容质量升级。很多参加上海站的大佬，比如快手等短视频平台，都在短视频内容方面对中国网民进行了很多教育。当用户熟悉了一种内容形式后，就必须开始对内容形式追求更高品质的审美。同样，在视频领域，用户在受到大量短视频的教育后，开始追求更高质量的视频内容。但是我们遇到的问题是，当各个细分行业都在追求更多的视频内容时，有一些我们可以通过C端的短视频制作工具来创作，但是在专业的场景中，比如广告、企业宣传片，甚至对于广电使用的大量视频内容，我们用一些纯C端的工具可能无法满足需求。这种类型的内容制作仍然是由传统的专业设计师使用专业的设计工具手工制作的。如果这种需求爆发，传统手工制作的效率将捉襟见肘。因此，我们想探索是否可以将专业设计师的创意赋能给非专业设计师的普通用户，让每个人或大多数人都能拥有专业级的视频创作能力。

我们简单地将主流的视频制作方案分为几类：一种是移动端的视频制作技术网站制作，或者是C端的视频制作技术。主要解决C端用户的表达需求。二是SaaS工具，为偏尾的运营内容制作提供视频制作工具。人们倾向于基于H5渲染技术或视频技术为用户解决创意问题，但这些技术存在一些不足。渲染能力缺乏相应的支持。而对于整个视频元素本身的动画，它只支持比较简单的基础变换动画，不支持更复杂的面向设计师的运动曲线，包括表情和基于物理模拟生成动画的能力。另外，对于图片本身的调整，只支持基本的调整，比如下沉市场中经常出现的卡片动画或者视频效果。

那么，我们希望帮助用户创作什么样的视频？在视频中可以看到，户外裸眼3D大屏和3D场景渲染都可以让用户实时创作。对我们来说最重要的是如何让用户参与到内容制作过程中，或者如何将用户的个性化需求融入到画面中，从而生成用户独特的专业内容。

从专业内容制作流程的分析，我们将整个影视视频内容制作流程抽象为四个关键步骤：首先，需要完成素材获取。主要解决方案是使用支持4K和HDR的手机获取或寻找版权库合作。然后需要制作每个镜头。这里的镜头主要是指短镜头。比如一部电影的画面只有1-2秒，长镜头最多10秒。再长的时间都是一个长镜头。镜片生产的专业流程非常复杂。比如MG动画可能只是一个2D镜头，再到复杂的场景，比如漫威电影，融合了3D场景的渲染，也需要和采集到的原始素材进行合成。然后将镜头中的效果与原始材质结合起来进行特殊效果。镜头拍好后，还有很多镜头需要剪辑、拼接，最后导出。

这是我们提出的解决方案，在摄取方面，我们推出了 Leap 社区。这个社区现在有名专业设计师，为用户提供了大量的模板。社区内所有的视频制作逻辑都是模板化的，用户可以对里面的元素进行个性化的修改。我们提供 Leap in 镜头制作和特效合成，是整体视频、电影和视频处理技术在实践中的产品体现。 Leap可以帮助设计人员解决从2D和3D内容到镜头制作中的特效合成的模板内容制作需求的一站式解决方案，进而生成模板供最终用户使用。那么，底层驱动这些功能的核心技术就是VE视频引擎。

我将向您介绍 VE 视频引擎。关心专业级视频制作逻辑的同仁应该都知道，我们称之为动画行业或视频行业。我们VE视频引擎的整体架构研发与目标完全一致。同时，我们在AE短板的一些方面做补充。至此，我们已经完全实现了AE 80%的核心渲染能力，并在3D渲染方面补充了一些更强大的解决方案。

简单分享给大家音频处理和视频处理。我们的核心能力主要在动画渲染引擎。图层渲染架构、复合渲染架构、关键帧动画引擎、字体渲染引擎、矢量绘图引擎和特效绘图引擎，是我们完全自主研发的专业级视频处理模块。除了这些模块，我们还提供基于SDF的3D渲染引擎和基于模型材质和灯光的常见3D渲染引擎。

在这里，我想和大家分享一下我们在开发和实现这些渲染引擎以及解决Web端问题时提出的一些设计要求：首先，我们的渲染引擎与AE完全对齐。实现了 AE 80% 的核心渲染能力，结合强大的 3D 能力。同时，我们提出了跨平台支持，保证了无论从桌面、移动端、GPU云服务器还是Web前端的渲染架构的灵活性，为用户提供完全标准或正确的视频级像素渲染能力终端方面；其次，我们也想为非专业用户赋能专业设计师的能力。我们的解决方案是将设计师在AE中制作的视频一键转换成模板，让更多的用户可以基于模板进行个性化。

回到我们刚才说的，模板制作可以分为上游和下游两个环节。上游是专业设计师的模板，下游是终端用户的模板。为了让设计师做出更好更精彩的模板，我们也不断为设计师开发更多特效插件。在这里跟大家分享一下我们开发的一些插件的效果。

我们可以看到。视频中提供的3D内容和提供给设计师的创意能力，可以由设计师转为模板提供给最终用户。

那么设计师如何制作模板呢？刚才提到，它主要是基于 Leap 产品，其核心逻辑是为用户提供一个 web 端的模板创建工具。我们现在有一个非常强大的工作流程。设计师在AE中设计好视频后，可以一键上传到云端，然后转换成模板。整个操作过程非常顺利。我们在网页浏览器中实时渲染一个AE项目的效果非常好。第二点是我们还可以将模板中的参数暴露给用户进行编辑。无论是模板中的素材，还是模板中的参数，用户都可以进行实时调整，满足用户个性化创作的需要。

PPT中的左侧屏幕展示了设计者如何在AE中一键加载项目到Leap。右侧画面显示设计师在AE中完成了整个项目的设计，然后访问Leap网站在本地读取AE项目并一键上传到云端。这时候设计师的作品就变成了一个模板，所有数据都在web端实时还原和渲染。

为了让最终用户可以调整其中的材质和参数，设计师可以标记一些标记。比如项目中有很多材质，所以我希望最终用户可以调整其中的一些元素。他可以在素材界面中为最终用户设计一个编辑界面，或者可编辑参数的具体设计。右边的视频展示了设计师设计模板的编辑界面。

我们目前在 Leap 社区平台上拥有超过 20,000 名专业设计师。一方面我们会为设计师提供丰富的特效设计工具，另一方面我们拥有大量的版权素材资源，同时我们也开设了创作和实现的任务中心我们有大量的B端客户，也有分散在各个行业的客户。使用我们的技术后，他们对模板内容有源源不断的需求，可以到任务中心发送模板制作任务，平台设计师可以到任务中心接收创建和实现的任务。同时，我们拥有在线模板审核和自动测试交付系统，完成创作生态的整个闭环。

我还想与您分享我们在 AE 或专业设计工具方面所做的一些努力。前段时间，平面设计软件领域比较火爆，我们会发现国外一些技术厂商，尤其是整个设计工具占主导地位的美国，已经开始对中国采取封闭的态度。目前，在平面设计领域，一些中国厂商已经开始崛起，为大家解决这方面的问题，实现国产替代。我们也会在视频领域发现类似的问题。现在国内的专业视频设计工具几乎是一片空白。为了培养用户使用国产工具，我们在Leap社区为国内专业视频设计师提供了大量免费的特效设计工具，这些设计工具基本完全自主研发并结合中国行业特点需要解决问题。设计师有一些独特的痛点，同时我们每个月都会更新，不断解决设计师的需求。

目前，创作中心有2万多名专业设计师，很多设计师都是靠模板设计任务来实现自己的创作能力，不少设计师月收入超过1万元。同时，我们社区的一个亮点是，如果你有专业的设计能力，可以在一天之内轻松熟悉整个模板制作流程，进而实现全平台变现和创收。

2、产品案例

接下来，在案例和技术完成后，我将与您分享我们的技术在哪些产品中得到了应用。

首先要和大家分享的是 Plus，它是一个电影级的模板化视频制作平台，是我们整个视频处理技术的综合应用。虽然我们也提供了移动端的渲染能力，但是这里主要跟大家分享一下它在web端的一些表现。

用户可以进入 Plus，选择自己喜欢的视频模板，然后实时编辑模板。比如我想对里面的文字进行修改，可以像编辑PPT一样直接修改。当然，用户不仅可以编辑图片、文字、视频等素材，还可以实时调整参数。

比如有一个3D霓虹灯效果，用户可以编辑里面的文字内容。它的3D光照渲染和地面反射都是实时渲染的，用户还可以调整霓虹灯的强度、描边宽度等，满足用户的个性化需求。

此外，我们还与中国电信、中国联通在5G时代的视频彩铃业务方面进行了深度合作。这里跟大家分享的是我们与联通沃音乐合作的DIY视频制作平台。我们与中国联通的合作项目不仅仅是技术授权，更是Leap社区整个创作过程的合作。因为对于中国联通来说，他们需要为其C端用户和企业客户提供视频彩铃服务，同时也需要不断提供大量优质视频模板。一方面，我们在他们的APP中部署了视频渲染能力，包括云端。用户可以在自己的APP中创建自己的模板化视频彩铃。另一方面网站制作，我们的云渲染能力也会根据用户数据自动生成个性化定制。视频内容。比如这里有一个应用场景，就是根据用户的IP地址推断出用户当前的地理位置，然后为用户推送每日天气预报视频等。

另一个案例是我们与二次元社区——的产品合作。在这个项目之前， 正在与我们的朋友合作开发一套技术。我们友商的技术方案主要是针对C端用户制作视频。 本身就是一个二次元漫画创作分享社区。他希望能让用户将平面漫画变成动态视频，并使用这项技术。可以生成个性化的漫画内容。嗯，我们朋友的C端视频制作方案比较传统，给用户的图片添加转场、滤镜、字幕，拼凑出一个视频逻辑，所以给个性化视频创作留下的空间不大。 ，那么它不会解决客户的愿望，即为用户提供创建个性化，甚至是带有情节的动画视频的能力。客户在接入我们的技术方案后，为用户提供了为这个卡通人物创建个性化面部表情的能力，以及镜头和过渡的整体设计、整个动画场景中元素的动画、太阳的光效，二 次元角色本身的身体动画、面部表情动画、镜头之间的过渡，都可以由用户进行个性化设置。这样一来，整体上大大提升了用户内容创作的表现力，打开了整个想象空间。

3、技术挑战与应对

接下来给大家分享一些大家可能感兴趣的技术干货。

首先网站开发，我想与您分享网络时代技术发展带来的一些机会。在这里，我们与您分享我们整个Web端解决方案的底层技术支持。每个人都应该熟悉它。说白了就是让我们可以直接在浏览器中调用，包括这些高性能的渲染能力。最近也很火，我们会看到很多流媒体解决方案开始带来一些更高的性能或更强大的功能。

我想和你分享的是。嗯，是的，第 94 个版本可供用户使用。它开始向开发人员开放直接在浏览器中直接进行硬件解码的能力。如果你对网页端的平面设计工具感兴趣或者了解它的整个开发周期，你应该知道，无论是国外还是国内，它们崛起的机会之一是其技术栈已经开始向开发者开放所以，我认为我们的电影级网页端视频处理技术，他能否开始商业化或者是一个基于工具的产品推向用户的机会，在于。

它可能看起来只允许解码调用硬件，但它带来了两个好处：第一，它可以让我们快速完成一些高分辨率的视频解码，或者以较低的资源消耗完成视频解码；另一个好处是，如果我们在素材的解码上花费的时间更少，那么在图片的渲染上会留给我们更多的时间，这意味着我们有更多的时间可以交出，并且可以在术语上进行更复杂的操作屏幕渲染。

所以在刚才看到的史诗效果图中，除了模型的创建，还需要为它生成模拟战斗的伤疤，最后给它上色，还有一些比如景深、灯光效果渲染。假设有 30 帧，你只有 33 毫秒来渲染每一帧。如果解码时间超过十毫秒网站优化，那么你只有二十毫秒。但或许可以将解码时间压缩到几毫秒，你就有更多的时间美化画面，为提升画质提供相关机会。

在整体渲染方面，我们遇到的最大问题是如何在准确渲染和渲染性能之间找到平衡点。我将我们的主要策略抽象为三种主要方法：首先是从实际场景中优先考虑算法决策。这句话听起来有点像胡说八道，比较抽象。让我给你举个例子。比如我们要渲染一个3D场景，我们可以想象如果有相关厂商在做类似的事情，尤其是视频模板，大部分3D场景视频中的元素是不需要用户修改的，所以大部分我们对这部分元素的操作方法是让设计者提前在3D软件中预渲染成视频素材，然后交付给最终用户。

那么，当你想提升画面的表现时，你开始思考，我们需要最终用户能够在整个 3D 场景中自定义哪些内容？考虑到这个需求，一般终端用户对logo、文案、3D文字会有自定义需求，包括需要根据用户logo生成的3D模型。所以这个时候，我们在做3D渲染引擎的时候，并没有优先考虑常见的基于点、线、面生成3D模型的3D渲染策略。我们选择基于 SDF plus 的 3D 渲染引擎。 SDF实际上是一个距离场。当我们描述一个物体时，我们可以通过点、线、面来进行几何描述，也可以通过空间中每个像素点与物体表面之间的距离场来描述3D物体。 我们现在将看到很多创意流程，包括一些比较流行的流程，开始大量使用 3D AI 建模。

我们认为这种渲染技术对用户更有价值，为什么？用户输入个性化的文字，你给他创建一个3D模型或者他输入一个图片，你给他创建一个模型，这里的模型的复杂度是不可预知的，因为你不知道用户会输入什么。但是，如果使用SDF创建3D模型，基本上可以实现像素级建模，也就是说用户可以画出一个，根据覆盖的每个像素为他生成一个3D模型。这种情况下，对于用户来说，他能生成的内容，生成内容的方式，可能性都会大大增加。一方面降低了门槛，另一方面打开了可能性。

二是效果优先，针对不同平台提供不同的算法适配。我举个简单的例子，相信你也有这方面的实践。对我们来说，移动端的稀缺资源是，比如端可能有很多内存，但是iOS端有非常严格的内存政策。如果每一帧占用太多内存，会直接杀死APP。但是在服务器端，我们可以放开想象，我们可以为服务器配置大量的内存，甚至可以直接将素材存储在内存中。那么这时候就有了以内存换性能，以性能换内存的策略。

第三点是要善于使用经典的图形算法。举个例子，熟悉图形的你应该知道，我们在做PBR渲染的时候会使用SAT渲染策略来实现动态模糊渲染。如果学了SAT算法，就知道它会工作在二维笛卡尔坐标系的平面上，那么当我们想要实现，比如辐射模糊，就没有办法使用SAT策略了。但是如果我们结合其他经典算法，比如笛卡尔坐标和极坐标，我可以做一个变换，把放射性问题扩展成平面问题，那么SAT算法就可以再次工作了。因此，对经典算法的深入理解和综合应用，也是优化整体渲染性能的重要手段。

最后，我想和大家分享一下，当我们所有的认知能力都完成后，接下来我们要考虑的就是减少计算量。跟大家分享一下我们认为对减少计算量非常有效的策略：首先，第一个是材质缓存策略。举个夸张的例子，我们发现客户端渲染的时候很夸张，有时候一帧有170多张图片。图层涉及渲染，其中有很多 3D 操作和深度混合。如果解码素材需要很多时间，那么渲染的时间真的太少了。因此，我们可以根据当前计算时间，包括下一次优化时间，查看需要使用哪些素材，进行相关的预解码，将素材缓存起来。

主要目的是减少整体渲染端的计算量。如果我们要渲染一个，在手机上预览的时候，我们往往不需要全分辨率渲染。因为在预览编辑过程的实现中，我可以使用半分辨率，但是如果我想要做好半分辨率，并不是简单的对最终结果做一个缩放，这样不仅会减少计算量，而且会增加渲染量。因为除了全分辨率渲染，最后还要进行缩放渲染。所以我们要做的一件事就是调整整个渲染引擎中每个参数的分辨率。例如，如果分辨率降低到 50%，我们会对每个参数做一个差异，参数会缩放 50%。这样就可以保证从每一个参数素材到所有的屏幕尺寸，都可以和分辨率一起调整。

代理素材策略是减少解码素材的时间。在剪辑过程中，如果有大的4K素材需要解码，同时压缩渲染时间。在这种情况下，我们通常会在云端为用户生成低分辨率的素材。可能生成的低分辨率素材只有720p，但是我们通过代理参数告诉渲染引擎是4K，保证在整个参数和动画中。数据正确。通过代理策略，我们可以大大降低高分辨率素材对整体渲染性能的影响。

最后一个策略，最无情的是多分辨率模板。当设计师设计全高清或4K模板时，我们会直接在不同平台上为他生成不同的模板。例如，我们将生成 1/2 分辨率和 1/4 分辨率模板。这时候，我会把里面的每一个动画数据和素材都进行压缩，直接生成半尺寸或者1/4尺寸的素材和动画数据。但是，为了让设计者放心，设计者只需要创建一个高分辨率模板，剩下的多分辨率模板生成任务交给云端自动化处理。

这四种策略在我们的实践中被广泛使用。当然，每个策略在某些地方可能看起来重叠，但它所针对的场景并不相同。因此，每个人都可以在自己的业务场景中灵活选择使用哪种策略。