让图像动起来,MediaTek联合快手推出高效端侧视频生成技术

责任编辑:王鹤迦 2024.07.04 11:27 来源:通信世界全媒体

通信世界网消息(CWW)2024年7月4日,MediaTek与快手共同宣布,推出高效端侧视频生成技术,共同探索并推进生成式AI技术的革新。该技术是对2024 世界移动通信大会(MWC 2024)上初次亮相的视频生成技术的延续与提升,结合快手的AI模型I2V(image to video)Adapter与MediaTek天玑9300、天玑8300移动平台强劲的AI算力,在端侧实现由静态图像生成动态视频的创新体验。通过这项技术,用户只需在设备上选取图片,应用即可智能地识别照片中的人物和场景,生成自然流畅的视频佳作,显著提升了视频制作的创意表现和效率。

1720063699386095951.png

双方的合作充分借助MediaTek天玑移动平台先进的AI技术,携手攻克了模型底层适配优化及上层开发的系列技术及工程难题,为用户带来让人耳目一新的端侧生成式AI体验,将改变用户创作和分享内容的方式。

I2V-Adapter是快手AI团队提出的一种适用于基于Stable Diffusion文生视频扩散模型的轻量级适配模块,作为即插即用的扩散模型轻量级模块,专门用于由图像到视频的生成任务。该模块能够在不需要改变现有文本到视频生成(T2V)模型原始结构和预训练参数的情况下,将静态图像转换成动态视频。此外,其解耦设计使得该方案能够与DreamBooth、LoRa、ControlNet等模块无缝兼容,实现客制化和可控的图像到视频生成。

MediaTek天玑9300和天玑8300移动平台集成了先进的NPU(神经网络处理单元),为生成式AI而设计,提供强劲算力和能效。在图像生成视频的应用中,NPU可显著加速AI模型的运算,结合与快手I2V Adapter模型的适配和优化,实现更快的视频生成速度,同时兼具低功耗特性。天玑移动平台可结合深度学习和实时渲染技术,对图像内容进行深度分析,捕捉关键帧,并据此生成流畅、逼真的视频画面效果。同时,MediaTek的实时渲染技术可确保视频在各类设备上均能带来高画质表现。

全球短视频市场正迎来高速增长期,行业对创新、高效的视频生成技术的需求日益迫切。MediaTek与快手基于对市场需求和趋势的深刻洞察,为广大用户带来更加先进、便捷的视频生成工具,共同推动短视频生态的繁荣发展。未来,双方将持续深化合作,推动生成式AI技术的进一步发展,满足市场不断变化的需求,共同开创和探索短视频技术的新纪元。


通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容