DataSimba实时计算简化架构

2021-12-09 13:56

这个订单在哪个阶段了什么时候可以提货

稍等…我查一下。

在上汽乘用车业务链的各个环节，每天都有数以千计的类似场景发生。

以往，查询车辆交付节点需经历沟通，采集，抽取，调优等环节，耗时1天以上。

现在，只需不到5秒钟，就能跨越生产四大基地，从千万级的数据中精准获得信息。

今年8月，上汽乘用车公司与奇点云达成合作，打通数据孤岛，以DataSimba支撑构建企业实时计算平台业务数据的计算处理，从T+1升级为实时，数据平台的运维监控，从手工排查升级为智能告警

平台以高可用，高并发，低时延和可拓展的架构及OneData体系，为前线业务提供及时，完整，准确的数据支持，赋能业务决策。

01

不能让技术变成业务瓶颈

在车联网，新能源，数字出行等新变量的推动下，汽车已从单纯的交通工具转变为移动计算中心，车企也正从单纯的汽车设计者和生产者，转向更为灵活的数字化产品和服务提供商。

面对指数级的数据增长和来自企业内外的发展压力，如何系统地管理好数据，用好数据，整体提升数据创新力和变现能力，成为了车企的优先战略思考。

2016年，上汽乘用车公司完成信息化基建，抢先步入数字化转型阶段，并于2018年开始着手建设工业大数据平台，从数据采集，接入到建模，力求体系化地用数据支撑业务。

数据虽好，想要快速厘清业务逻辑，打通数据孤岛，却并不容易。

上乘有着业内领先的IT研发实力，在自建完成平台部分功能后，时效，性能等问题又向他们提出了挑战:传统的关系型数据库无法支撑海量数据的接入与分析，吞吐量和时效性不足，这些性能瓶颈可能影响实际生产，严重的情况下甚至会导致工厂停线。

因此，工程师们又不得不进行高频次的人工巡检，以避免对前端业务的影响数据及信息系统部运维负责人曾表示，无法体系化地运作，好像陷入了运维的汪洋大海里

从企业角度出发，高度依赖人工来处理分析数据，运维系统，也让企业自身的数据资产和数据能力更难沉淀下来举个例子，如果有一位工程师离职了，下一位工程师不得不花大量时间去接手——这个平台从何学起，哪些数据要从哪几十张表中去取，可能要花一个月去梳理和熟悉运维负责人介绍

技术不能成为瓶颈供应链应用高级经理陈总表示，它应该成为赋能业务增长的利器

因此，上汽乘用车公司开始向外寻找成熟的产品与解决方案。

02

要实时计算，也要智能运维

这个产品必须有成熟的流计算架构，能进行准确，实时的计算与分析，

它也要足够稳定，能支撑海量数据的吞吐和数十万级别的任务调度，

此外，这个产品不能是一整个体量巨大的平台我们不会花一年去考察，规划好一整个平台的所有功能，然后再花一年半载去建设，这样的试错成本太高了，不能匹配业务创新的节奏陈总谈到

奇点云数据中台产品DataSimba，或是最佳选择。

DataSimba具备高可用，高并发，高效调度，高效运维的属性，这也正是我们对数据中台‘稳定性’的理解奇点云资深技术专家牧然介绍，在对象体系的内核之上，它包含数据集成，数据规划，数据研发，数据运维，数据治理，数据服务等模块，同时支持分功能模块的组合选购，信息化，数字化基础较强的客户可以自主挑选，把DataSimba搭在客户自有的数据平台上，让客户的数据基础设施更完善，能力更强

历时3个月，上汽乘用车公司的实时计算平台顺利上线，正式投入使用，实现数据上的及时性，完整性，准确性，架构上的高可用，高并发，可拓展:

• 打通孤岛，提升数据质量

基于DataSimba，上乘打通了临港，浦口，宁德，郑州四大基地的MES数据，连接数据孤岛，统一数据标准，实现供应链数据的OneData此外，接入客户，营销，售后及三方外部数据，为业务决策提供丰富，可靠的数据支撑

• 流式架构，实时计算分析

实时计算平台采用流式架构，实现车辆信息，特征信息，过点信息，追溯信息等数据的实时更新，秒级响应业务的数据需要。

图:DataSimba实时计算简化架构

DataSimba实时计算能力达数千万级/小时，数据API服务满足QPS10万+，能同期支持数十万级别任务调度在确保数据任务有条不紊，快速执行的同时，节约企业的资源成本

不仅是数据的入仓，抽取从1天提升到了5秒内，比较复杂的数据调优和建模效率也大幅提高，上乘数据及信息系统部屠老师介绍，以往要耗时两三周，现在只要2小时。

• 智能运维，实时监控告警

制造业，车企的场景比较复杂，数据和业务的关系密切我们的数据不仅仅是用来‘参考’的，而是会直接影响到生产因此，我们对数据生产稳定性和数据的准确性要求非常高供应链应用科室杨老师表示

DataSimba支持秒级的告警，分钟级的定位问题与止损，小时级的恢复故障影响，以保障数据生产稳定持续。

以往，运维人员需要辗转于N个系统，查遍88张表来完成一次日常巡检，而现在，只需在收到告警后根据平台提示完成问题追踪与修复，运维时间平均节约下86%，彻底告别运维的汪洋大海。

图:运维人员可自定义告警规则

• 高可用架构，平台可用性达99.999%

为承载海量数据，保证平台稳定，服务长期可用，DataSimba从网络，数据本身，数据库，中间件，业务服务五个角度进行加固，确保实时计算平台可用性达99.999%。

此外，实时计算平台支持多租户管理，数据及信息系统部可通过平台界面对数据资源，计算资源进行统一调度管理，实时监控任务执行及资源使用情况，更准确地了解并支持前台需求。

03

支持试错，为业务创新造空间

在上汽乘用车宏大的数智化转型体系中，实时计算平台只是其中的一个小模块而这个小模块却不仅仅完成了实时这一件事，也为业务增长带来了更大的空间

产销协同，最基本的是订单需求池和生产制造池的匹配供应链应用高级经理陈总表示，上乘整车制造的供应链流程复杂，在过去，其中一些环节的状态甚至不透明，订单需求对生产制造的调整就无从谈起

基于实时计算平台，供应链状态变得可查，可用根据对业务场景的实时模拟和计算复盘，生产部门可以及时调整排产计划，节约资源实时的数据处理，秒级的数据计算，高效的数据建模，准确的数据输出，让产销协同成为可能

而数据及信息系统部作为公司的数据中枢，除了快速响应业务提出的需求，他们更主动地将数据能力封装为服务，让业务部门方便地使用数据，大胆试错，敏捷创新。

集团庞大的体系和架构，给业务留下的创新空间天然很小——组织上承担试错的成本太大了，很多时候必须要一次性把事情做对而现在正是追求敏捷创新的时代，不创新，就会落后数据及信息系统部总监强总谈到，从IT的角度来说，我们通过搭建能试错的平台，来支持业务去做更多创新

实时计算平台上层支持低代码轻量开发，可以快速完成创新业务逻辑的验证举个例子，原本需要7天做完的事情，现在只要1天，那么剩下6天就有足够的容错空间，让业务部门去创新，试错，验证

04

打造车企数智化转型标杆

实时计算模块上线后，上汽乘用车公司的工业大数据平台仍在持续迭代升级。每一次小步快跑，都伴伴随着能力的提升和对业务的助益:

平台将持续拉通数字化营销，数字化设计，数字化产品，智能制造，质量管理，物流管理等环节，覆盖更全面的业务，同时，封装复杂的数据技术，降低BI和AI的难度，在平台上层搭建数据应用，赋能企业经营，客户服务和内部管理。

这也是你们常说的‘把简单交给客户，把复杂留给自己’上乘数据及信息系统部总监强总向奇点云介绍，不仅仅是客户，也包括我们的合作伙伴打个比方，供应商用了这套方案，就能精准计算出缺件，第一时间做好预案，避免影响生产

2021年9月，上海市制造业数字化转型工作推进会召开会议指出，上汽等企业需要充分发挥链主优势，打造集合汽车原材料供应，设计研发，制造物流，售后服务等数字供应链体系，培育数据决定体验，软件定义汽车的新模式

作为链主企业，上汽乘用车公司将不断沉淀其数据能力与转型实践，赋能上下游合作伙伴，以新技术应对新挑战。

而作为独立的第三方数据中台服务商，奇点云也期待与上乘持续共创，赋能数据全生命周期管理，合力打造车企数智化转型新标杆，为汽车行业注入数智活力。

客户如何评价奇点云。

「我们选择奇点云，是因为奇点云的团队有丰富的大数据经验，态度务实，产品和服务都比较专业实际合作下来，也验证了奇点云的产品和服务层面确实比较好项目支持很及时，特地安排能力强的伙伴驻场，遇到问题都能够顺利解决期待接下来与奇点云的长期互动，共创，加强产品，交付，运维能力，助力我们的业务升级，打造出车企数字化转型的标杆

——供应链应用高级经理 陈总

「奇点云的产品架构里融合了许多符合未来趋势和要求的模块，有其先进性，在数据质量上也比较专业项目里的工程师很敬业，能够和用户共同成长

——供应链应用科室 杨老师

「从POC到后续协助开发，上线后的持续运维，以及版本的更新迭代，奇点云的伙伴一直有积极，快速的响应，能及时配合我们调动人员资源，更好地响应我们的业务需要。」

——数据及信息系统部 屠老师

上海汽车集团股份有限公司乘用车分公司成立于2007年，承担着上汽集团自主品牌汽车的研发，制造与销售，拥有荣威，MG名爵和R汽车三大明星阵容。

上汽乘用车公司以国际化的视野，创造性地集成全球优势资源，以高品质的产品与服务，满足消费者高品位需求成立至今，已收获国内500多万，海外400多万的车主伙伴坚守上海制造品质，上汽乘用车致力于为用户创造更美好的汽车生活

。