在这个世界,你能抓到被全网催交舞蹈作业的宁静,

也能看到充满清新气质的PDD,

从路人到顶流明星,人均get一双水汪汪的大眼睛。除了,“连特效都拯救不了”的李荣浩——

一夜亿万曝光,道具上线3天获得了1000w+的视频投稿,贡献大量相关热门话题。

全网都爱的变身漫画特效是如何诞生的?背后又有哪些行业领先的“黑科技”?
字节君与抖音特效的幕后团队一起聊了聊,持续打造爆款特效的秘密。
“作为行业首发的人脸实时动态漫画效果,我们早就觉得「变身漫画」会火。”来自影像团队,有多款抖音爆款特效项目经历的大彭说,近年来,真人照片处理、拼贴成某种绘制风格常玩常新,关键就是要给用户带来惊喜和共鸣。

2014年,脸萌凭借卡通五官、服饰匹配。登顶App Store
2018年,字节跳动专门成立影像团队,支持抖音火山轻颜等全系产品的打磨,其中包括长期探索真人风格化玩法,力图持续打造击中用户的特效。
在大彭看来,团队不设边界的灵感创意机制,让爆款的出现绝非偶然。“无论什么岗位,都不会只站在自己的视角积累爆款思路的弹药。每天影像团队都会抽一个小时搜集灵感,每周定期与其它合作的设计&研发团队开脑暴会,观察学习行业趋势和时下流行的时尚元素,了解最新技术进展。”
艺术遇上技术,很快碰撞出了新的火花。
2019年,轻颜出了本可爱风的手绘日历,项目同学发现,许多人都想把自己的照片一键变成类似画风。
此时研发同学在脑爆会提起,打破次元壁、让真实人脸变漫画的关键技术GAN (生成式对抗网络,Generative Adversarial Networks )刚实现,但还不足以精确地把真人变成人类绘画水平,让真人实时变成动画片,行业里更是没见过。

要不干脆出一款特效,让真人可以秒变漫画脸?
想法一出,立马激发了不同岗位同学的兴奋点。2019年9月,从影像团队的效果和产品同学,到协作支持的研发、设计,一个跨北上深及北美四地的专项小组迅速拉了起来。做实时漫画特效,定位就是爆款。
“别看变身只要一秒,从创意提出到技术落地,背后我们琢磨了好久。” 参与漫画特效打造的产品同学玉辰说。
“教AI画画”,做出大家喜欢、技术上又可实现的设计风格很难,做到实时可预览级别更难。
刚开始,研发同学对能否做到“实时”没多大把握:“毕竟如此高质量且千人千面的实时效果,在学界和工业界都未有过先例,技术上还有众多难点需要突破。”
项目组商量决定,暂缓“实时”计划,先打磨极致图片效果。“我们定义了精致美和极致像两大特点。既要全面保留用户特征、像本人,又要生成出漫画独有的艺术美感。”玉辰说。
为了找到更能引起用户共鸣的绘画风格,从日漫、国漫到韩漫,团队几乎将主流的漫画和番剧看了个遍。

灵感收集时的参考风格
经过效果同学广泛的风格设计、调研和修改,团队终于锁定了一款高萌可爱的漫画脸。“我们的设计师都是公司主美级别的,经验丰富。”


早期(上)与终版(下)风格对比
引入算法后,团队进入了更加追求细致的打磨期。
“有一两个月吧,我们就是在不停训练新模型,每次可能跑出几百个普通人看不出啥差别的模型,然后让设计去挑最优效果。”研发同学感慨,如此高效和规模化的模型训练,背后得亏了公司强大算力基础的支持。“最多的时候,要用几百张显卡跑。”

大家调侃说,经此一役,团队各个练就了火眼,同学们的效果敏感度和审美都有了很大提升。
大彭印象深刻,有次选好一款很萌的模型准备放体验版,研发同学第二天做好后,有个效果同学盯着新版本看来看去,总觉得哪里变不好看了。“一问才发现研发放错了模型,眼睛稍小了几个百分点。”

图片版效果达标后,团队决定小试牛刀,阶段性在抖音、TikTok的影集模块上线「漫画奥义」道具,在中国、日本、巴西、印尼等多国取得了不错的反响。

“实时”再次成为了摆在团队面前的关键挑战。
此前,变漫画功能基本都基于人脸表情跟踪,学界和工业界都没有千人千面的实时漫画生成方法。这次抖音推出的漫画特效是在视频中实时实现,该技术可谓全球首发。
“我们都明白,一旦实现,这将是一大爆款子弹。”

走入漫画的“贵妃”李玉刚
第一个吃螃蟹不容易。参与特效研发的陈西回忆,最开始的模型版本惨不忍睹,尝试了好多次都不行,大家甚至对实时漫画的可行性产生了怀疑。然而即使在最艰难的时候,团队也希望再试一次。
在陈西所在的研发团队,拥有计算机视觉、计算机图形学和数值分析等多元背景的技术人才,每个人都有自己的专长和经验。“我们又扒了一遍所有可能相关领域的已有研究和文献,有同学提出可以尝试各种轻量化模型的嫁接混合,效果确实得到改善,大量实验后终于选出了现在的主干模型。”
看起来是放手一博的革新,其实背后是公司跨团队、跨领域共同协作才能水到渠成的结果。
实时漫画的处理对手机性能要求极高,计算非常复杂;此外,抖音用户众多,机型性能差距大,需要专门研发复杂、定制化的模型下发策略。
公司全平台的技术成果和资源帮了大忙。拿漫画特效启用的字节跳动自研的推理引擎ByteNN来说,端侧性能和功耗均处于业界领先水平,保证了实时漫画能够稳定支持抖音海量的用户群体。
如何让用户真正玩起来?特效项目组的同学没少费脑洞。
在变身漫画推出前,团队已成功参与打造并引爆了宝宝特效、变身情侣等诸多抖音特效,在道具结合定制化音乐bgm的创意玩法上颇有经验。

变身情侣特效

拍摄简单、配乐有趣的宝宝特效
“脑暴小组”里,集结了来自北上深+北美4地、脑洞大、产出过无数爆款的产品、设计、交互工程、运营和市场同学。最终,在为期20天产出的100+方案内,大家选取了6个道具创意,承接不同年龄、层级和喜好的用户需求。
适合全民、低门槛拍摄的“变漫画”玩法:

二次元新奇玩法:

“结合抖音用户喜好、历年爆款道具特征和3轮nps调研结果,我们最终把「变身漫画」当作了‘漫画系列’的主推道具。”产品团队玉辰说。
在玩法开发的过程中,“手控滑杆”是首次使用的新交互形式。然而,在初期版本中,80%的用户都无法“拖动滑杆”变身,交互尝试屡次碰壁。

但产品和交互工程同学仍然坚持在这个方向做最极致的道具效果。“因为我们走进商场、地铁、小区采访了近百名用户的体验感受,发现一旦能滑动成功,他们明显更惊喜,玩性大增。”
随着漫画特效在抖音大火,产品同学联动剪映、轻颜等多款产品上线了同款变漫画图片功能,进一步推热二次元狂潮。

“特效发酵的过程中,我们发现大家喜欢把婚纱照、全家福等合影变成漫画。而实时动态方面我们还没有实现多人同时需求,这意味着还有很多可挖掘的空间,而随着技术的探索和积累,以后肯定还可以玩出更多花样。”
大家很有信心,下一个爆款特效,正在路上。

以上就是用抖音做漫画推广的全部内容,希望能够对大家有所帮助。
2023-10-03
2023-12-20
2023-09-03
2023-09-28
2023-12-18
英盛企业版苹果版
办公学习84.1MB
下载
东方财富期货苹果版
办公学习216.3MB
下载
新概念英语第一册苹果版
办公学习228.6MB
下载
菜鸟点我达苹果最新版
系统工具160.8MB
下载
HiSuiteapp苹果版
系统工具31.1MB
下载
黑洞代理苹果版
生活实用38.6MB
下载
MXF Video Converter苹果版
摄影图像53MB
下载
超级阿姨苹果最新版
生活实用186.8MB
下载
史莱姆模拟器游戏苹果版
其他软件176.6MB
下载
北京卫视养生堂app
医疗健康6.73MB
下载