抖音视频封面统一封装好还是不同风格
然而就是这么简简单单一个滑动屏幕的操作，其后台技术却是非常复杂的。抖音智能推荐平台有10多种AI模型，每周要训练上万个模型，跑在数千台服务器上，所有推荐模型的参数规模达到上万亿！
打开抖音可以看到，开屏显示“火山引擎提供计算服务”。没错，火山引擎就是抖音背后的技术发动机。就在不久前，火山引擎举办了一场发布会，详细介绍其在AI基础设施方面的产品技术。从这里我们或许能够了解到，抖音推荐为啥会这么准。
抖音是怎么使用“机器学习”的
机器学习，是指机器通过统计学算法，对大量历史数据进行学习，进而利用生成的经验模型指导业务。
用字节跳动副总裁杨震原的话来说，机器学习很重要的一点，是把问题数字化。先数字化，让这个问题可以定量评估。当问题可以定量评估的时候，接下来就可以智能化，进一步用一些机器学习的方法来优化。
比如效果广告，对于商家来讲，是不是能用合理的钱找到客户？对平台来讲，有一个广告位，是不是能够把最适合的广告放到这个位置上？这个问题怎么评估呢？很简单，我们看转化率就可以了，所以它的目标可以很清晰地定义出来。
能够清晰定义目标，就可以做A/B实验，可以判断什么方法更好，进而可以用机器学习进一步去优化。最后往往就会发现，用人工的方法，比如圈选用户这些方法做效果广告，很难干得过用机器学习。
抖音都是在火山引擎机器学习平台上训练和使用模型，具体有两个平台。一个是推荐广告平台，还有一个是通用平台，包括CV（计算机视觉）、NLP（自然语言处理）平台等。
推荐平台，每周会有上万个模型在上面训练，因为抖音旗下有很多产品，不同场景都会频繁训练模型。CV/NLP平台，模型训练的数字会更大，每周有大约20万个模型的训练规模。而且这两个平台上日常还跑着大量的在线服务。
机器学习做得好不好，杨震原用下图三角形来表示，其中最重要的是算法。算法在效果上做到领先，就能对业务产生很大的价值。支撑算法效果的需求，有两件事，一个是硬件ROI，一个是人力ROI。
硬件ROI指的是单位模型的成本。在市场竞争里，别人花一万块钱做一个模型，你如果花一万块能做十个同类的模型，这场仗就稳了。人力ROI，是说招一个厉害的算法工程师进来，他能否发挥最大潜能，主要看系统能否支持他足够容易、足够敏捷地去尝试新的想法。
如何提高硬件ROI？潮汐、混部，这是火山引擎常用的一些方法。本质上一句话，就是如何提高设备利用率，这也是云原生的一个基本思想。把不同任务混合在一起，互相错峰，通过智能调度，把它们的利用率都跑得很高，这样可以极大地提升资源的利用率，去压缩每个实验的成本。
在硬件成本以外，还有很重要的一点，就是机器学习的这套基础设施是不是足够易用。
杨震原笑称：很多做数学的人，不喜欢你搞计算机科学，尤其做深度学习，说你们这帮人就在这里“炼丹”，经常不能解释你这个东西为什么好，你为什么需要不断做实验？
但是从实用的角度来讲，必须得不断做实验，不断去尝试，这个领域很多新的发现，都是不断尝试做出来的。
如何让每次尝试更快、更便宜，这就是核心竞争力。想一劳永逸，一把做出一个非常完美的模型，这是很难实现的。
火山引擎要做的，就是把平台的工作做好。大家可以看到，数据处理的整个过程、模型训练、评估到上线，再到AB测试，全平台有统一的集成。
算法工程师不需要反反复复去沟通各种环节，串联各种业务，他可以更聚焦在自己的工作上。有了这样的平台支持，工程师就可以快速尝试各种想法，不管是跟进进展，还是开拓创新，都可以做得很快。
火山引擎机器学习平台是内外统一的，火山引擎客户和抖音用的是同样的平台。杨震原表示，希望公司内部打磨的这些技术能够服务更多的客户，支持大家做智能化的创新。
火山引擎的机器学习平台好在哪？
在一般人看来，用好机器学习主要需要算力，是偏硬件的事情，但其实不然。举个例子，如果机器学习框架跟底层的硬件是各自独立的一套，那在训练AI模型时，由于通信延迟、吞吐量等问题，训练效率就无法最大化。简单来说，就是很多算力会在这个过程中被浪费掉。
而避免出现这种浪费的方法，则是“软硬一体”，从而实现庞大算力的调度难题，提升AI开发的效率。
火山引擎机器学习总监吴迪介绍，火山引擎的自研DPU，将算力层和平台层统一起来进行了整体优化。比如，将通信优化的算法直接写到网卡硬件中，以降低延迟、削减拥塞。
测试数据显示，火山引擎的通信框架BytePS，在模型规模越大时，收益会越高。
而在AI开发效率方面，火山引擎推出了Lego算子优化。这一框架可以根据模型子图的结构，采用火山引擎自研高性能算子，实现更高的加速比。
具体到抖音使用的推荐系统方面，吴迪介绍，由于推荐是一个高度定制化的场景，每个人的兴趣、画像都有单独的embedding，因此大规模稀疏模型很重要。同时，由于真实世界在时刻变化，因此背后又存在一重实时训练的挑战。这都对传统的深度学习框架提出了很大的挑战。
“Embedding”直译是嵌入式、嵌入层。它的意思是能把万物嵌入万物，是沟通两个世界的桥梁，是打破次元壁的虫洞！简单来说，我们常见的地图就是对于现实地理的Embedding。现实的地理地形的信息其实远远超过三维，但是地图通过颜色和等高线等来最大化表现现实的地理信息。
通过Embedding，我们在现实世界里的文字、图片、语言、视频就能转化为计算机能识别、能使用的语言，且转化的过程中信息不丢失。
为了帮助抖音实现更实时、精准的推荐，火山引擎不仅将各种工程实现进行封装。推出了基于TensorFlow的机器学习训推一体框架Monolith，还拿出了针对智能推荐的高速GPU训练和推理引擎——Monolith Pro。
其覆盖的场景包括：一、针对关键场景的超大模型，使用高密度GPU进行超高速训练；二、覆盖更多场景的模型，混合使用CPU+GPU高速训练。
吴迪透露，基于Monolith Pro，抖音内部的某重要广告场景，原本一次广告训练需要15个月样本，训练时间为60小时，现在只需要5小时就能完成。“工程师可以做到上午启动训练，下午就能开A/B测试了。”
目前，火山引擎已实现了推荐系统全套解决方案：从物料管理，到召回排序，再到效果分析、A/B测试和模型算法，都可以开箱即用。
吴迪坦言，“软硬一体、通信优化、算子优化都不是新概念，火山引擎机器学习平台也没有特别牛、特别超前的大招。我们靠的就是务实严谨地不断把细节做扎实，把重要技术锤炼到位。”
以上就是抖音视频封面统一封装好还是不同风格的详细内容，更多内容请关注金符游戏其它相关文章！
