Boximator：字节跳动引领的视频编辑新纪元，精准掌控视频主体运动轨迹

在当今数字创意的时代，视频编辑工具的重要性日益凸显。字节跳动作为科技巨头，近日发布了一款名为Boximator的创新视频编辑工具，它以其独特的功能，彻底改变了用户对视频主体运动轨迹的控制方式。Boximator不仅让用户能够轻松选择并操作视频中的主体，更通过直观的交互方式，让用户能够精确绘制主体的运动结束位置和运动路径，从而实现精准的运动控制。

Boximator的核心功能在于其直观且易于上手的操作界面。用户只需简单几步，便可选中需要运动的物体，随后使用Boximator的专有工具，在画面上绘制出物体的运动结束位置和运动路径。这一创新设计，使得用户能够直观地预览和调整物体的运动轨迹，无需复杂的后期调整，即可获得理想的运动效果。

官网入口：https://boximator.github.io/

Boximator功能特点

Boximator的功能特点可以归纳如下：

一、直观的运动轨迹控制

• 选择物体与绘制路径：用户能够直观地在视频中选择需要运动的物体，并通过简单的操作绘制物体的结束位置和运动路径。
• 精确控制：物体将严格按照用户绘制的位置和路径进行运动，确保运动轨迹的准确性。

二、创新的双重盒子约束

• 硬盒子与软盒子：Boximator引入了硬盒子和软盒子的概念。硬盒子用于精确定位物体的初始位置和大小，为视频合成提供明确的起点；软盒子则用于描述物体在视频中运动的大致范围或路径，提供更大的灵活性。
• 混合使用：用户可以通过混合使用硬盒子和软盒子，实现对物体运动的精确控制和自由调整。

三、自我跟踪学习机制

• 预测物体运动：Boximator采用了自我跟踪的技术，能够预测物体的运动，确保物体按照用户的初衷移动。这意味着即使用户没有为每一帧都设置明确的盒子约束，Boximator也能够根据已有的约束推断物体的运动。

四、丰富的应用场景

• 艺术创作：对于艺术家和设计师而言，Boximator可以将他们的草图或概念以动态形式呈现，丰富创作手段。
• 广告制作：营销专业人士可以用它创造独特且引人入胜的广告内容，提升广告效果。
• 社交媒体内容创造：Boximator也适用于社交媒体内容的创作，帮助用户生成有趣且吸引人的视频内容。

五、高度可控性

• 丰富的动作生成：Boximator能够根据用户提供的图像和文本提示，生成丰富且可控的视频动作，满足用户多样化的需求。
• 用户友好的界面：Boximator提供了用户友好的界面，即便是对技术不熟悉的用户也能轻松上手并体验其功能。

综上所述，Boximator以其直观的运动轨迹控制、创新的双重盒子约束、自我跟踪学习机制、丰富的应用场景和高度可控性等特点，为用户提供了全新的视频编辑体验。

Boximator使用步骤

Boximator的使用步骤可以清晰地归纳如下：

一、准备阶段

1. 安装与登录：首先，用户需要确保已下载并安装Boximator应用或插件，并按照指引进行注册和登录。
2. 选择视频：在应用或插件中，用户需要选择要进行编辑的视频文件。

二、对象选择与框定义

1. 硬框（Hard Box）定义：
   • 用户在视频的起始帧或关键帧中使用硬框来选择和精确定位对象。这些硬框定义了对象的精确边界。
   • 用户可以通过调整硬框的大小和位置来确保对象被准确选中。
2. 软框（Soft Box）定义（如需要更宽松的控制）：
   • 用户可以为对象定义软框，这些框提供了一个对象必须存在的大致区域，允许对象在该区域内自由移动。
   • 软框的设定可以根据用户的需要进行调整，以实现不同程度的自由度。

三、对象ID与框关联

1. 分配对象ID：Boximator为每个对象分配一个唯一的对象ID，这个ID以RGB颜色空间表示，确保每个对象的框都有一个独特的“颜色”。
2. 跨帧跟踪：模型使用这些独特的ID跨帧跟踪和控制同一个对象，确保对象在视频中的一致性。

四、视频扩散模型集成

1. 集成现有模型：Boximator作为一个插件，与现有的视频扩散模型（如PixelDance和ModelScope）集成。
2. 冻结与训练：在训练过程中，基础模型的权重被冻结以保留其预训练的知识，而只训练新增的控制模块。

五、多阶段训练过程

1. 第一阶段：使用硬框约束进行训练，帮助模型建立对坐标和ID的基本理解。
2. 第二阶段：引入软框，通过随机扩展硬框来增加训练的难度。
3. 第三阶段：继续第二阶段的训练，但不使用自跟踪，让模型内部保留框-对象关联的能力。

六、推理（生成视频）阶段

1. 插值与放松：在用户定义的框之外的帧中，Boximator通过线性插值和放松处理来插入软框。
2. 生成视频：确保对象大致遵循预期的运动轨迹，同时给予模型足够的自由度来生成自然流畅的视频。

七、导出与分享

1. 导出视频：完成所有编辑后，用户可以选择导出编辑后的视频文件。
2. 分享与保存：用户可以将编辑后的视频分享到社交媒体或保存到本地设备中。

以上步骤涵盖了Boximator从准备到完成视频编辑的整个过程，为用户提供了清晰、易懂的操作指南。