简介:2020年云栖大会上,好未来AI中台负责人刘东东,分享了他对AI云原生的理解与好未来的AI中台实践,本文为演讲内容整理。

AI时代的到来,给企业的底层IT资源的丰富与敏捷提出了更大的挑战,利用阿里云稳定、弹性的GPU云服务器,领先的GPU容器化共享和隔离技术,以及K8S集群管理平台,好未来通过云原生架构实现了对资源的灵活调度,为其AI中台奠定了敏捷而坚实的技术底座。

在2020年云栖大会上,好未来AI中台负责人刘东东,分享了他对AI云原生的理解与好未来的AI中台实践,本文为演讲内容整理。

大家好,我是好未来AI中台技术负责人刘东东。今天我给大家带来的演讲主题是《好未来AI云原生的浅谈》。我的分享主要分成四个部分:

第一,AI服务对云原生的挑战。
第二,AI与云原生的服务部署。
第三,AI与云原生的服务治理。
最后想谈一谈, K8S与Spring Cloud的有机结合。

1、AI服务对云原生的挑战

首先,我们来讲一讲AI服务对云原生的挑战。在云原生时代,AI服务其中最大的一个特点就是,需要更大的算力支持,以及更强大的一个服务的稳定性。

我们的服务不单单只是原来的一个单体服务,现在已经转入到一个集群服务。同时对性能的稳定性要求,已经从3个9,开始向5个9发起了挑战。

那么这些问题,已经不再是原有的传统技术架构能够解决的。所以我们需要一个新的技术架构。

这个新的技术架构是什么呢?就是云原生。

我们来看一看,云原生对我们带来的变化。云原生带来的最大变化,我总结为四个要点和两大方面。

四大要点分别是,DevOps、持续交付、微服务、容器的四个特点。两个方面则是服务部署和服务治理。当然,它还有12个要素的整体系统总结。

今天重点来讲的是服务部署和服务治理。

在云原生浪潮下,我们是如何处理服务部署和服务治理呢?

首先我们通过AI与云原生的服务部署,即通过K8S,加上一个资源的虚拟化,资源的池化等技术,解决了AI服务对各种硬件资源的数量级增长需求。

第二个,AI服务与云原生的服务治理进行有机结合。通过服务治理的技术,包括服务发现、HPA、负载均衡等,解决AI服务对5个9的SLA的需求。

2、AI服务的云原生部署

第一点谈一下是怎么把AI与云原生的服务部署结合起来的。

首先看一下,在AI时代下服务部署有哪些特点呢?

第一个就是硬件资源需求与费用增长的一个矛盾。AI服务对于硬件的需求成数量级增长,但是硬件预算并没有成数量级增长。

第二,AI服务对硬件的需求是多样化的。如,对高GPU的需求、高CPU的需求、高内存的需求,甚至还有部分混合的需求。

第三,AI服务对资源的隔离是有需求的。每一个AI服务都能够独立使用这些资源,并且相互之间不会打扰。

第四,AI服务能够对资源池化有要求。AI服务不需要去感知机器的具体配置,一旦将所有的资源进行池化,即可降低资源碎片,提升使用率。

最后一点,AI服务对突发的资源是有请求的。因为流量是不可预知的,企业需要随时保持,能够随时扩充资源池的能力。

我们的解决方案是什么呢?

首先,我们使用Docker的虚拟化技术,实现资源的隔离。

然后使用GPU共享技术,将GPU、内存、CPU等资源进行池化,然后将整个资源进行统一的管理。

最后,使用K8S的resources,包括污点(taints)、容忍度(tolerations)等这些技术特性,实现服务的灵活配置。

另外,建议大家要买一些高配置的机器,这些高配置的机器,主要是为了进一步降低碎片。

当然,还要实现对整个集群硬件的监控,充分利用ECS可以各种复杂的时间规则调度特性(下图的cron是一个基于时间的作业调度任务),应对高峰流量。

接下来,我们更仔细地看看好未来AI中台是如何解决这些AI部署问题的。

这个页面是我们的一个Node的服务管理,通过这个业务,我们是可以清晰看到每一个服务器上面的部署情况,包括资源使用情况、部署哪些pod、哪些节点等等。

第二个实际上是AI中台的服务部署页面。我们是可以通过压码文件,精准地控制每一个pod的内存、CPU、GPU的使用。同时,通过污点等技术,让服务器的多样化部署得到满足。

根据我们的对比实验,使用云原生的方式部署对比用户自行部署,成本大概节省了65%。而且,这样的优势会随着AI集群的增长,在经济收益上和临时流量扩容上,将会受益更多。

3、AI与云原生服务治理

接下来再讨论一下AI与云原生的服务治理。

简单介绍一下什么叫微服务?其实微服务,只是服务的一种架构风格,它实际上是将单个服务,作为一整套的小型服务开发,然后每一个应用程序都有自己进程去运行,并且通过轻量级的一些,比如说HTTP、API等进行通信。

这些服务,实际上是围绕着业务本身去构建的,可以通过自动化的部署等手段去集中管理。同时,通过不同的语言去编写,使用不同的存储资源。

总结起来微服务有哪些特点?

第一,微服务它足够小,甚至它只能做一件事情。
第二,微服务是无状态的。
第三,微服务相互之间是相互独立的,并且它们是面向接口的。
最后,微服务是高度自治的,每个人只对自己负责。

看到这些微服务的特点之后,再去想一想,AI服务与微服务特点,我们发现,AI服务天生适合微服务。每一个微服务,其实本质上只做一件事情。比如OCR,OCR服务,只做OCR服务;ASR,主要做ASR服务。

继而,每一个AI服务的请求都是独立的。举个简单例子,一个OCR请求和另外一个OCR请求,在本质上是没有什么关联的。

AI服务对横向扩容是有天生苛求的。为什么?因为AI服务队资源的渴求非常大。于是,这种扩容就显得非常有必要性了。

AI服务之间的依赖性也特别小。比如说像我们的OCR服务,可能对NLP的服务,或者是对其它的AI服务,可能没有什么太大的要求。

所有的AI服务,都可以通过写申明式的HTTP,甚至API的方式,提供AI能力。

进一步去看一下AI服务,会发现,并不能将所有的AI服务进行微服务化。于是,我们做了什么事?

第一,需要将AI服务做成一个无状态的服务,这些无状态服务,都是有畜牲化、无状态、可丢弃,并且不采用任何的一些磁盘或者内存的请求方式,去做一些存储功能。这样就可以让服务部署在任何的一个节点,任何一个地方。

当然,并不是所有的服务都能做到无状态。如果它有状态了怎么办呢?我们会通过配置中心、日志中心、Redis、MQ,还有SQL等数据库,存储这些请求状态。同时,确保这些组件的高可靠性。

这个就是好未来AI中台PaaS的整体架构图。首先可以看一下最外层是服务接口层。最外层接口层是面向外部提供AI能力的。

平台层里最重要的层是服务网关,主要是负责一些动态路由、流量控制、负载均衡、鉴权等。再往下就是我们的一些服务发现,注册中心,容错、配置管理、弹性伸缩等等一些功能。

再下面是业务层,这些业务层就是我们所说的,一些AI的推理服务。

最下面就是阿里云给我们提供的K8S集群。

也就是说整体的一个架构是,K8S负责服务部署,SpringCloud负责服务治理。

我们是怎么通过技术手段来实现刚才说的一个整体架构图?

首先是通过Eureka作为注册中心,实现分布式系统的服务发现与注册。通过配置中心Apoll来管理服务器的配置属性,并且支持动态更新。网关Gateway,可以做到隔离内外层的效果。熔断Hystrix,主要是分为分时熔断和数量熔断,然后保护我们的服务不被阻塞。

负载均衡加上Fegin操作,可以实现整体流量的负载均衡,并且将我们的Eureka相关注册信息进行消费。消费总线Kafka是异步处理的组件。然后鉴权是通过Outh2+RBAC的方法去做的,实现了用户的登录包括接口的鉴权管理,保证安全可靠。

链路追踪,采用的是Skywalking,通过这种APM的一个架构,我们可以追踪每一个请求的情况,便于定位和告警每一个请求。

最后日志系统是通过Filebeat+ES,分布式收集整个集群的日志。

同时我们也开发了一些自己的服务,比如说部署服务、Contral服务。主要是负责与K8S进行通信,收集整个K8S集群里面服务的服务部署、K8S相关的硬件信息。

然后告警系统是通过Prometheus+Monitor去做的,可以收集硬件数据,负责资源、业务等相关的告警。

数据服务是主要用于下载,包括数据回流,然后截取我们推理场景下的数据情况。

限流服务是限制每个客户的请求和QPS相关功能。

HPA实际上是最重要的一个部分。HPA不单单只支持内存级别的,或CPU级别的HPA,还支持一些P99、QPS、GPU等相关规则。

最后是统计服务,主要是用于统计相关调用量,比如请求等。

我们通过一个统一的控制台,对AI开发者提供了一站式的解决方案,通过一个平台解决了全部的服务治理问题,提升了运维的工作自动化,让原来需要几个人维护的一个AI服务的情况,变成了一个人能够做到维护十几个AI服务。

这个页面展示的就是服务路由、负载均衡、限流相关的配置页面。

这个页面展示的是我们在接口级别的一些告警,以及部署级别的硬件告警。

这是日志检索,包括实时日志相关功能。

这个是手动伸缩和自动伸缩操作页面。其中自动伸缩包括CPU、内存级别的HPA,也包括基于相应响应时长制定HPA、定时的HPA。

4、K8S与Spring Cloud的有机结合

最后来聊一下K8S与SpringCloud的有机结合。

可以看一下这两张图。左图是我们SpringCloud数据中心到路由的图。右边是K8S的service到它的pod的图。

这两个图在结构上是非常接近的。我们是怎么做到呢?实际上是将我们的Application与K8S的service进行绑定,也就是说最终注册到我们SpringCloud里面LB的地址,实际上是把它转成了K8S service的地址。这样就可以将K8S与SpringCloud结合起来。这是路由级别集合。有了这个集合,就能达到最终的效果

SprigCloud它是一个Java的技术语言站。而AI服务的语言是多样化的,有C++、Java,甚至有PHP。

为了实现跨语言,我们引入了sidecar技术,将AI服务与sidecar通过RPC去通信,就可以屏蔽语言的特性。

Sidecar主要的功能有,应用服务发现与注册、路由追踪、链路追踪,以及健康检查。

今天我的演讲到此结束,非常感谢各位的聆听。谢谢大家。

作者:刘东东

本文为阿里云原创内容,未经允许不得转载