域名频道资讯站
我们一直在努力制造惊吓

2019可信云大会丨百度智能云陈媛:百度智能云机器学习平台实践分享

7月2日,2019可信云大会在北京国际会议中心隆重开幕。2019可信云大会以“智能云网边,可信创未来”为主题,由中国信息通信研究院主办。

下午13:30大会特设的智能云论坛活动正式开始,百度智能云机器学习平台资深产品经理陈媛做了《百度智能云机器学习平台实践分享》的精彩演讲。

2019可信云大会丨百度智能云陈媛:百度智能云机器学习平台实践分享

百度智能云机器学习平台资深产品经理陈媛

各位专家、各位来宾,大家下午好!我是百度智能云机器学习平台的产品经理,今天给大家带来的是百度智能云机器学习平台实践分享。

从近年来趋势上看,机器学习技术已经从高精尖实验室研究技术走向产业,云服务功能也在不断完善,尤其是基础算力设施。企业可以借助云上的AI技术、算法、算力、能力和平台不断优化、不断加强自身业务效果,最终将我们的机器学习技术从实验室研究落地到实际应用中去。

百度智能云机器学习平台愿景是帮助企业构建AI开发能力,希望成为最落地、最懂企业的机器学习平台服务商。

百度智能云机器学习平台面临很多种用户,如有大企业、中小企业、公民数据科学家、AI开发者,这些企业需求不一样。针对不同企业和用户的需求,我们也实现了很多种不一样的产品形态,如对于中小企业、AI开发者、公民数据科学家,可以用公有云和私有云的形式来满足他们的需求,对于大企业有软件和硬件一起部署的需求,所以我们用一体机的产品形态来满足大企业的需求。工业制造场景往往有预测的需求,物联网有边缘计算的需求。百度借助这些产品形态可以将百度的AI能力输出到企业去,还可以将百度这种AI基础设施能力、AI技术能力也输出到企业中去,最终目的是降低企业AI使用门槛,提升企业AI生产效率,要赋能于金融、教育等各个行业。

百度智能云机器学习平台布局。百度有非常雄厚的技术积累,有自研的PaddlePaddle技术框架,有高效预测服务框架,有自研的AutoDL等技术,为了将百度这些技术输出给企业、用户,我们平台也分为两层:底层是基础AI开发平台,上层是基于数据垂类和行业而定制化的定制化开发平台。

基础AI开发平台,如进行数据处理,处理好的数据进行自动化建模,拖拽建模等等,最终产生的模型可以部署在线预测服务,然后供用户使用。

数据垂类定制因为有数据源不一样,所以把平台分为语音、文本、图片等不同的定制化平台。

行业定制平台是因为带有行业自身的一些特有属性,针对行业做一些行业的定制平台。

百度输出这些平台也是为了将百度的技术更好地用行业、与数据、与场景相结合和使用。这些平台的落地形式有很多种,有公有云形式,是基础的AI开发平台;有一体机的形式;有移动设备端上预测的形式;给用户部署纯软件机器学习平台的形式。

百度智能云机器学习平台总体架构(如图)

底层是资源层,有高性能的数据存储系统、高效的集群管理和更合理的资源调度系统。

执行层,有深度学习和机器学习多种框架供用户使用。

算子层,提供工程特征处理算子,如特征抽取、特征变换、标准化等等。

百度自研的机器学习算法。用户输入数据我们也可以做数据统计,输出一些统计学数据展示给用户。

建模应用层,建模方式有可视化建模、有交互建模,还有自动化建模,我们生产出的模型都可以流向模型仓库进行版本管理,进行模型继续的评估。已发布的模型可以到我们预测模块去部署线上预测服务或离线跑批量预测。

交互层,用以可以通过在console上页面点击完成流程。

用户权限管理模块,监控告警模块,自动化部署运维模块,这些模块整体构成了平台总体架构。

百度智能云机器学习平台的特点有四个方面:

1.快速上手。有点开即用的Jupyter环境,内置多种常用框架,有Demo可以学习。有Auto算法,可以省需用户编程和超参数调优的繁重工作。

2.一站式开发&部署。用户通过console点击或API调用,可一站式完成发起训练任务、获取训练模型、启动预测服务,覆盖AI开发&部署的全流程。

3.灵活。支持主流框架,支持自定义第三方软件库,支持用户CCE集群。核心服务可灵活解耦,与您现有工作流程无缝对接。

4.高性能。多机多卡的分布式训练和对企业级超大规模数据的支持,可显著缩短开发所需时间。

点开即用IDE环境-Notebook。

集成Jupyter Lab框架;内置多种常用算法框架、软件库、demo;提供GPU资源;自动同步存储中的数据,可以更方便用户进行数据处理、编写代码。

训练-深度学习作业。

支持PaddlePaddle等多种深度学习框架;录入代码的方式有直接编辑代码/选取代码文件。直接编辑代码如图所示,有一个黑框,用户敲自己的代码提交作业,新用户可以选择代码模板,然后用户直接提交,这种场景适用于先学习一下,一个文件就能进行模型的训练,评估一下。选取代码文件录入的模式,这个场景针对于有很多文件一起才能完成模型的开发、模型的评估等等,这时候需要指定代码文件的路径和主文件名,就可以提交深度学习的作业。

训练-机器学习作业。

在机器学习作业中,有百度自研大规模分布式的机器学习,是基于我们自研参数服务器的框架来做得一些优化,实现多种机器学习算法,有分类的、回归的、聚类的等等。除此之外平台上还集成了基于Nvidia-RAPIDS-cuML机器学习算法GPU加速。

训练-AutoDL。我们训练数据每类需要20-100张图片,10分钟内可训练完毕。

(图)用10类数据,每类数据100图片,不到1分钟训练完成。图像分类-迁移学习技术特点是训练速度更快,可以更好应用在实际工作中。

训练-拖拽式建模。

分为算子选择,参数设置,拖拽建模,运行历史。

高效率-预测服务。

预测模型库管理模型数据和模型运行环境,并且还管理能够部署预测的模型和不同的版本,这个模型分为平台内部产生的模型和外部导入的模型。预测服务支持对不同版本的模型的上线,从而支持对不同版本模型了效果评估,可以自动控制流向不同版本模型的数据流量,有数据流量控制的功能,为业务中新模型的灰度上线、负载均衡、效果评估提供可靠保障。

内部产生的模型或外部导入的模型都可以部署预测服务,用户可以通过调用API形式访问预测服务端点。针对不同硬件,也有不同的预测优化实现,合理调度预测服务资源,最终实现低延迟、高可靠的预测服务。

云上免费Jupyter-AIBook。

AIBook是免费的轻量的Jupyter环境,不需要用户进行任何设置就可以使用,并且完全在云端使用。AIBook中提供多种深度学习和机器学习框架,省去用户搭建环境带来的困扰,还有丰富的Demo可以让用户进行快速上手和学习。基于AIBook,用户可以编写、调试、运行、下载自己的代码,刚才所说的这一切都可以通过浏览器免费使用。

(图)通过点击蓝色按钮,在AIBook中运行,就可以跳到代码页,享受免费云上的Jupyter。

应用案例-AI教育教学系统

左边平台是某高校自有的教学实验管理平台;右边平台是我们部署的开发平台。这两个平台是打通的。

上课之前,老师通过自己的教学实验管理平台建立课程要求,向企业AI开发平台申请课程实例,准备好运行环境和运行资源,上课时老师和学生通过终端去访问我们的课程实例,在运行环境和资源上编写代码,开发模型,部署预测服务,做各种实验。下课之后,再把课程实例资源释放,等待下一次上课。这种场景是AI开发平台与高校常规AI课程落地的一个场景。

应用案例-某企业客户AI平台解决方案

某企业已经有大数据服务平台,存储企业一些核心数据,个贷数据、信贷数据等等,数据是通过自己数据交换平台存到分布式存储上。我们部署了企业AI开发平台,两个平台之间是打通的,大数据平台的数据可以在AI平台上进行数据处理和模型开发,部署在线预测服务。这个企业业务系统会调用在线预测服务的API,对其真实业务系统上的数据进行预测。

企业AI开发平台跟企业生产AD系统打通,打通了用户登录系统,就很方便这个企业的员工使用我们AI开发平台。这就是企业AI开发平台与这个企业大数据服务平台打通落地的场景。

总结。

首先分享百度智能云机器学习平台的背景、架构、布局、特点,然后分享了平台的具体功能,最后举了两个应用案例。后面有两个二维码,希望大家多来体验。

谢谢大家!

本文素材来自互联网

赞(0)
分享到: 更多 (0)

中国专业的网站域名及网站空间提供商

买域名买空间