
字节跳动产品团队实现了这个脑洞:打开抖音摄影头,对着地标建筑扫一扫,洪崖洞秒变赛博朋克风,而且还能随着音效律动。
这是抖音在今年11月上线的地标AR技术(AR是增强现实 Augmented Reality 的缩写,是指计算机视觉算法在真实场景叠加虚拟效果的技术)。打开抖音拍摄界面,使用AR特效贴纸,扫描地标建筑即可触发AR效果。首批上线的特效包括北京三里屯、上海东方明珠、澳门大三巴牌坊、广州广东省博物馆、重庆洪崖洞、西安钟楼等地标建筑。

官方玩法:在地标附近,打开抖音拍摄道具里的AR贴纸。或搜索贴纸名称拍摄
地标AR项目,经AI Lab、抖音产品、多媒体研发、UED设计、数据平台、音乐、运营、市场等十几个部门的共同努力推出,横跨硅谷、洛杉矶、北京、上海、深圳五地办公室。常有人问我们,公司有这么多办公室,怎么配合呢?今天就带大家一起走进这个项目组,了解字节跳动团队如何把中台与产品深度结合,跨时区合作调动最优资源,高效创意落地前沿技术。
从第一个展示项目,距离AR成为基础设施还有多远?
4G时代扫二维码,5G时代扫什么?答案可能是:扫任何东西。
现在,二维码是我们从线下进入线上的ID。AR在未来,可能也会成为二维码这样连接物理空间与虚拟世界的基础设施——扫描现实中的任何物体,得到物体在虚拟世界对应的信息,一层又一层的信息叠加在一起,形成在全世界覆盖的AR云。
这是地标AR项目对于未来的远大愿景,业内也早有同行在这个领域有了不少投入。地标AR技术的实现,基于3D视觉重建算法和SLAM定位算法,这种技术对硬件设备的算力、传感器精度、算法稳定性和鲁棒性、工程实现的优化等诸多技术方面提出了非常高的要求。
字节跳动北美技术团队中的很多人,平日里就是前沿技术和新潮电子产品的尝鲜者。大家对地标AR提出了各式玩法——除了简单的叠加文字或虚拟物体到建筑上,还讨论了建筑拟人化/人格化、建筑夸张形变、过程化动画生成等想法——这些创意和玩法,无疑需要强大的计算机视觉和图形学算法支持,团队面临的一个难题是如何筛选和专注于最核心的关键技术的研发 。
林颉是北美AI Lab的研究员,博士毕业于普林斯顿大学计算机系,此前一直做三维场景理解、物体检测跟踪等方面的研究工作,今年2月入职后,他从零开始搭建地标AR技术。5月,北美AI Lab完成了端上实时demo的演示。
业务端看过demo,敏感地捕捉到AR可以给产品带来更多玩法和可能性,决定率先在抖音上支持地标AR技术落地。“我们的产品形态是点对面的传播,使得一个有趣的玩法,可能在全网引起轰动。”林颉从硅谷社交巨头公司跳槽来字节跳动,也是看中了这里产品的影响力。
在各种可能的技术组合中,团队决定先解决最核心的基础算法。中航矮楼被选中做第一个展示项目,作为大家最熟悉的办公大楼,中航矮楼适合用来做技术的验证和调优。
地标AR技术落地的工程量非常大,工程化就拆成了五个阶段。硅谷从春天跨到秋天,8月最热的季节,林颉和同事为了中航矮楼的调试回到北京。

在中航矮楼里,AI Lab和北京的产品研发团队一起调试,“中航可能晚上也灯火通明的,大家热火朝天地讨论产品技术细节,年轻公司爆发出的生命力,很有感染力。”林颉回忆道。
经过一个双月的努力,中航矮楼的地标AR上线,项目组在公司内部发起了试用,收集反馈不断改进技术和设计。
基于中航矮楼的“律动舞台”主题设计,由北美设计团队完成,音效则由音乐团队支持。万事开头难,通过第一个展示项目把流程跑通,接下来的9、10双月,就是全力推进首批6个地标的顺利上线。
并行开发:踩点32个省市,四地协同办公攻坚中航矮楼AR贴纸的同期,字节跳动众测团队在全国32个省市,安排了蹲点图像采集,为AI Lab的地标建模提供数据支持。
地标AR技术,最终呈现在抖音的特效道具里,可能只有几秒的动效,但不为用户所知的是,每个地标道具都涉及大量的前期工作。
仅建模的数据收集环节,每个地标需要采集多组数据,不同的角度、时间、灯光和气候条件,都需要有对应的照片。赶在日出前出门采数据,或者在连晴的盛夏里等一个阴雨天,都是数据采集中常遇到的事。
全国各城市,每个地标有成千上万张照片,数千GB的数据回传到AI Lab,林颉和同事们一起处理数据,精简优化模型,再做模型的融合对齐。
首批上线的6个地标,各自代表一种建筑的类型,澳门大三巴是牌坊,上海东方明珠塔则代表高塔。既然做,就要把各种模型都考虑到,做成通用性的技术,而不仅仅是基于一种模型自我复制。

地标 -> 旅游景点 -> 游玩 -> 享受、愉悦的情绪 => 由此确定主题「玩乐生活」
这组地标的创意主题为“玩乐生活”,每个地标的创意,经项目组100多人脑暴后投票选出。创意决定后,6个项目同时推进,由上海、深圳、北京、硅谷的团队并行开发。

像素风设计元素单独展示

三里屯像素风效果展示
每个地标拉一个小群,由抖音和多媒体PM统筹,设计师独立出创意效果,对接研发团队开发。三里屯贴纸的设计师涵涵,来自北京UED部门,直到项目结束,她才知道每日对接的研发同学,竟然base在上海。
这是一个很字节跳动的工作场景,全球员工依托好用的工具协同办公,不论身份、年龄、地域如何,在飞书上彼此坦诚沟通,敏捷执行业务目标。
追求极致,用技术创新给用户带来新玩法在地标设计的过程中,项目组发现6个地标各不相同,在通用的算法基础上,几乎款款都需要“特别定制”。
地标AR是用户记录城市的工具,一款成功的地标AR贴纸,应该能够准确传达地标本身所承载的文化和象征意义。“不是为了秀一个技术,而是应该根据建筑本身赋予创意,要契合城市的气质。”抖音PM张昶认为,我们的地标AR道具,把城市气质和抖音好玩的产品特色很好地融合起来。
深圳影像团队的设计师琛鑫,负责上海东方明珠“天空之城”的创意,为保证效果,专程跑到上海办公室,拉着特效团队的工程师一起去外滩实测。

东方明珠是个114层高的巨大建筑,触发范围特别大,大多数人在外滩隔着黄浦江拍远景,也有人在陆家嘴拍近景。为了精确识别和定位,技术团队对陆家嘴约2平方公里的核心地区进行了三维重建,重建精度能够控制在一米以内,特效也会随着远景和近景的位置变化,呈现出不同的效果。为了保证拍摄过程中维持精准的三维定位,项目组对追踪算法进行了增强,提升了算法对于三维场景的识别和理解的能力,减少了用户在使用和观看过程中可能出现的追踪跟丢问题。
重庆洪崖洞是当地的热门景点,大批游客会在晚上前去打卡,考虑到白天和夜晚实际光线变化的问题,设计团队把白天的蓝紫色调滤镜调得更暗,晚上则会切换成另一个不那么暗的滤镜。

还比如,澳门大三巴牌坊特效里,会吐金币的石像头本来放在了一层,深圳的研发同学前往澳门实地测试后发现,游客和牌坊挨得特别近,吐出来的金币和人群会发生重叠,于是把石像改到了牌坊的二层。
在技术侧,项目组给石像面具做了一个环境适配,无论光照等条件如何变化,石像的材质、颜色都可以与牌坊自然融合。

追求极致是大家习惯的工作风格,对细节的把控,贯穿体现在项目的每个环节。上海研发工程师叶华,记得有次和硅谷同学紧急开会,AI Lab根据建筑采集出的模型,与设计团队出的3D模型吻合不上,沟通完问题和解决办法挂断视频会议时,已经是夜里凌晨两点。
常驻美国AI Lab的林颉,对国内同学的投入留下了很深的印象,“设计团队看到新技术的demo后特别热情,马上说我们这边几个全职,都可以all in去支持。”在北美AI Lab的工程研发负责人郭辉眼里,公司很有技术氛围,“不论是技术同学,还是配合技术落地的非技术同学,都很崇尚新技术对产品的帮助和提升,觉得这个技术好玩,应用前景广阔,就义无反顾去支持,面对困难就迎难而上。”
道具上线后,大量用户拍摄后上传,播放量过亿。有人留言说,专门坐了2个小时的车来拍这个特效。也有城市的旅游部门表示,想给自己城市的地标定制一款AR道具。


民间玩法:不在地标附近,对准地标的照片、手绘图、同类建筑拍摄
从一个技术想法,到结合创意的最终产出,是100多位项目组成员智慧的创造,很多同学通过高难项目挑战,提升了个人技术栈,给团队带来技术积累和沉淀。目前,项目组已经梳理了近30项技术,准备进行专利申请。
给亿万用户带来新玩法,是字节跳动对前沿技术投入和决心的小小切面。贴纸道具之外,项目组还在考虑如何把AR商业化,如何把AR作为一项基础技术,做更多AR交互的突破。
创新是业务发展的核心驱动力,技术团队希望未来可以走在业务前,前瞻性地看到发展方向,并通过组织结构的调整,保证团队未来持续输出创意和有影响力产品的能力。
以上就是小编带来的抖音皮玩啥意思的全部内容,希望能够帮助到大家,更多抖音操作运营内容,请关注金符游戏。
2023-03-27
2023-08-27
2023-06-30
2023-07-12
2023-06-25
英盛企业版苹果版
办公学习84.1MB
下载
东方财富期货苹果版
办公学习216.3MB
下载
新概念英语第一册苹果版
办公学习228.6MB
下载
菜鸟点我达苹果最新版
系统工具160.8MB
下载
HiSuiteapp苹果版
系统工具31.1MB
下载
黑洞代理苹果版
生活实用38.6MB
下载
MXF Video Converter苹果版
摄影图像53MB
下载
超级阿姨苹果最新版
生活实用186.8MB
下载
史莱姆模拟器游戏苹果版
其他软件176.6MB
下载
北京卫视养生堂app
医疗健康6.73MB
下载