第四范式AutoML算法炼精术技术集群、高维度、多场景(第四范式数据挖掘)

第四范式AutoML算法炼精术：技术集群、高维度、多场景(第四范式数据挖掘)

“y=f（x）。”第四范式云业务负责人王敏用函数的抽象表示向钛媒体描绘了她眼中的AI。

“y”代表“预测目标”，“x”代表“影响因素”，抽象函数关系“F”代表的“AI模型”，而AutoML（自动机器学习）则是第四范式的杀手锏——“通过AutoML自动的将f（AI模型）制作出来。”

举个简单的例子，若将目标人群三年之后患糖尿病的概率作为业务预测的最终目标，那么此时的X则演进为目标人群的体检相关数据，而AutoML技术通过三个环节：对大量的数据X进行自动预处理（数据自动清洗、线性分型技术）；自动特征处理以及自动算法选择和配置，最终得到预测目标出现的概率值。

而据此与瑞金医院所推出的瑞宁知糖（一款预测糖尿病患病率的产品），在糖尿病预测的准确性上较基于临床标准的预测提升了3倍左右，这也第四范式在AI落地真实场景的成功实践。

人工智能最早于1956年的Dartmouth 学会上提出，但由于相关基础理论研究结果的匮乏、硬件与软件的落后以及实际落地场景不足，让AI像沉寂在海底的活火山亟待喷发。

根据《美国2019:国家人工智能研发战略计划》披露：“当前AI技术的一个关键缺口是缺乏可预测性能的方法。”这份计划在指明当下AI的天花板的同时，也从侧面暗示了当下AI的发展已正式步入到一个新的关键时期，即市场真实场景驱动之下的方法论构造成熟时期。从辩证思维逻辑来看，缺乏“可预测性能的方法”是AI企业的天花板，也是突破口。诚然，这也是第四范式的护城河所在。

溯源第四范式AutoML

AI应用规模化和普世化的前提是以ROI（投资回报比）最优为目标的低门槛AI技术，核心在于AI智能化和自动化，而当下的关键技术则是AutoML（被列为MIT2018十大突破性技术）。简单的说，就是要让机器取代人工专家完成建模、自动调参的工作，进而让整个机器学习过程更加自动化。

往深层次更近一步分析你会发现这是一个极为宏大的愿景，即“让机器从业务中自主发现规律，进而服务企业的增长和创新。”无独有偶，相关人工智能业内专业人士对钛媒体表示，“第四范式走的不是普通的道路，而是想做AI中的AI，即通过自主创建一个AI引擎，基于引擎可以外延构建更多AI解决方案与应用。”

与此同时，这也是一条全球性的赛道。

亚马逊、谷歌、微软以及百度都在此押注。值得一提的是，第四范式自2015年年初起便深耕AutoML，较于谷歌2018年正式发布AutoML领先了三年有余。并在三年时间内先后将AutoML应用于金融、银行、零售、保险、证券、医疗、能源以及媒体等众多领域，实现了AI的多场景落地。

在AI落地金融层面，以常见交易欺诈防控为例，第四范式针对数据进行数据预处理以及特征扩充，进而构建亿级别维度的高维度机器学习模型进行训练，最终对可疑交易案宗进行排序。

该模型上线后，其直接效果较专家规则提升了近316%，达到了83%的防控精准性，另比专家规则多识别欺诈交易58.8%，并减少了将近30%审核成本。从另外一个层面上看，AI进一步解放了专家的生产力。目前，第四范式服务的金融机构资产总规模超过50万亿，其中头部金融客户占有率超过70%。

这一效果在“AI 媒体”上的融合更为明显。众所周知，内容分发决定了媒体流量和利益的分配，于此之下，个性化推荐则成为媒体价值实现的关键所在。

“先荐”是第四范式基于深度学习技术研发的一套集内容上传、内容管理、内容分发、推荐干预以及前端渲染于一体的一站式推荐服务可视化平台，支持PC、WAP、APP全平台接入。目前，第四范式已服务超过1000个客户，超过2000个推荐场景。通过机器学习的训练，国内第三大官方媒体环球网点击率提升了近5倍，而国内最大的单机游戏媒体游民星空点击率更是达到了19倍的提升，在收益增长方面国内最大程序员社区CSDN在应用之后广告收入提升了1.5倍。

AutoML的价值在哪儿？

企业应用AI的门槛较高，首当其冲的便是认知（不知道如何构建AI能力，什么是关键的成功因素）和操作门槛（建模 业务的复合型人才的缺失，开源机器学习框架使用门槛、维护成本过高），这也是AI所一直为人诟病的“过于黑盒化”。

在这一点上，第四范式的AutoML只需“收集行为数据、收集反馈数据、模型训练、模型应用”4步，无需深入理解算法原理和技术细节，即可实现全流程、端到端的AI应用构建。

“过去我们出去跟客户谈AI都会去谈建模，现在有了AutoML之后，我们就不用再纠结 F（AI模型）里面的东西，而是去谈Y（预测目标）与X（影响因素）的事，这样更有助于降低客户对AI的认知门槛，从而更聚焦于实际的业务对接层面。”第四范式云业务负责人王敏告诉钛媒体。

除此之外，AutoML的应用价值还体现在成本节省维度上。

国内某大数据广告公司的CTR业务，采用第四范式AutoML上线AI总耗时两周，远远低于目前AI应用上线半年的交付周期，且实际效果与某知名云计算公司AI算法专家建模效果保持一致。此外，该业务上线后，仅用两台节点就负载亿级日均PV量。

升维AI炼“精”术，算法和场景的革命

算法的匮乏、IAAS（基础设施即服务）层的不足让当下AI公司被迫降维，产品设计逻辑仍停留在表层无法触及核心层，但全球科技竞争的“二八法则”又逼迫着科技公司必须逆流而上，对于AI领域的玩家来说，“精炼”和“高效”的技术则是企业的生力之源。

截至目前，第四范式已自主研发了传统机器学习、深度学习等多方向的自动化技术，囊括了自动特征组合（FeatureGo）、模型自带自动化特征的线性分形分类器、自动时序树模型工具HE-TreeNe、自动时序特征（TemporalGo）、自动深度稀疏网络DSN（Deep Sparse Network）、Auto-SSL（自动半监督学习）、AutoCV、AutoNLP、多保真度优化等多项AutoML支撑技术，而丰富的技术支撑让第四范式在AutoML上游刃有余。可以预测到的是，新技术浪潮在未来的几年不再由单一技术引爆，“技术集群”将开启巨大的红利。

“7nm级别芯片从科研角度上来看已经接近硅作为半导体材料的物理极限了，某种意义上来说，摩尔定律已然失效，未来的十年将是计算机体系架构的黄金时代，你会发现有各种新的架构和芯片，但瞄准的实质方向其实就是AI和未来的边缘计算端，所以我们认为时代将走入一个应用或者场景定义，或者是算法定义的一个时代。”第四范式硬件业务总经理蔡斯扬对钛媒体告诉钛媒体。

而这段话的背后逻辑，在今年的IDC“CXO卓越圈”活动上第四范式创始人兼CEO戴文渊发言上也有迹可循——随着人工智能规模化落地，企业在制定AI转型路线时可考虑’1 N’的应用场景模式：‘1’是结合公司核心业务，把1个或几个对业务影响最大的场景做到极致，属于纵向维度；‘N’是用最高的效率规模化落地尽可能多的应用场景，使场景的总体价值最大化，属于横向维度。

对于“1”这类标杆型应用来说，极致的效果是其所追求的，而极致的效果必然要求AI系统的“高配置”。

传统意义上的高维模型，往往局限在万级别的维度以下，而第四范式开发的高维机器学习引擎最高可支持到万亿(10^12)维度，通过极致的机器算力，进而实现远超传统几个数量级的精准性。

那么，什么是超高维？

举个简单的例子，超高维意味着将一个用于训练的10T大小原始数据通过超高维离散化和特征增强之后这个模型的原始数据量变成100T甚至200个T。在面对如此庞大的数据量时往往需要100台的服务器去连通，在训练的时候还需要去“三次握手”、“数据流转”，往往会导致通信链路堵塞。

于此之下，一个负责“疏通”的软件通信协议显得至关重要，“协议的设计逻辑是基于深度学习和机器学习，我怎么扫每一行数，每个节点之间通讯的机制是什么，这个我们很清楚，因为这种算法是我们自己从第一行开始写的，我们很清楚他是怎么工作，说的简单点就是通过一个通讯协议，从而让协议能够匹配到整个算法训练通讯的机制，这是一个很重要的方向。”第四范式硬件业务总经理蔡斯扬对钛媒体补充说明到。

除此之外，第四范式对业务数据处理之后的特征值组合也是一大亮点。