Qihoo-T2X 是由 360 AI 研究院和中山大学联合开发的高效多模态生成模型,基于代理标记化扩散 Transformer(PT-DiT)架构。该模型通过引入稀疏代理标记注意力机制,显著降低了传统扩散 Transformer 在全局自注意力计算中的冗余性。Qihoo-T2X 支持多种任务,包括文本到图像(T2I)、文本到视频(T2V)和文本到多视图(T2MV)生成。
Qihoo-T2X功能特点:
1、高效计算:
– Qihoo-T2X 通过代理标记化注意力机制,大幅减少了计算复杂度,相比其他扩散模型(如 DiT 和 PixArt-α),计算量分别减少了 48% 和 35%。
2、多任务适应性:
– 文本到图像(T2I):根据文本描述生成高质量、高分辨率的图像,适用于创意设计和艺术创作。
– 文本到视频(T2V):生成连贯的视频内容,支持动态场景和视频序列,适用于视频创作和动画制作。
– 文本到多视图(T2MV):生成同一物体或场景的多视角图像,适用于 3D 对象展示和虚拟现实(VR)/增强现实(AR)应用。
3、Qihoo-T2X细节建模能力:
– 结合窗口注意力和移位窗口注意力机制,增强局部细节建模能力,避免因稀疏注意力机制导致的细节丢失。
4、开源与可扩展性:
– Qihoo-T2X 的源代码已开源,支持社区贡献和进一步开发。
Qihoo-T2X应用场景:
1、创意设计与艺术创作:快速生成高质量艺术图像,支持多种风格,为艺术家提供灵感。
2、视频内容生成:生成连贯的动画视频,减少视频创作成本和时间。
3、教育与培训:生成教学用图像和视频,帮助学生理解复杂概念。
4、娱乐与游戏开发:生成虚拟场景、角色和动态内容,提升沉浸感。
Qihoo-T2X相关网址:
1、项目官网:https://360cvgroup.github.io/Qihoo-T2X/
2、GitHub仓库:https://github.com/360CVGroup/Qihoo-T2X
3、arXiv技术论文:https://arxiv.org/pdf/2409.04005