引言:大数据所覆盖的边界,至少会包括两个业务,一是那些本身数据量确实足够大的业务,特别是传统数据解决不了的业务;二是指那些本身数据量可能并不是很大,但通过大数据技术所能够解决的应用,他们两者都隶属于大数据的范畴。 —东方金信杜伟杰
业内的大数据厂商,往往既要做平台,又要做解决方案。而就平台而言,标准化和通用性是最大的特点,而就解决方案来说,最大的特点就是定制化。那么,从大数据技术开发角度,如何去平衡共性和个性之间的微妙关系,实现化反?东方金信联合创始人杜伟杰先生就用“积木效应”来做比喻,给出了他的解释。
我们知道,搭积木有两个方面很重要,一个是积木的模块,另一个是用模块来搭建各种模型。大数据平台解决标准模块的问题,而大数据解决方案就是用这些“模块”搭建的完整模型。
通用大数据平台,储备的标准化积木模块
对于积木模块而言,关注两个要素,一是模块的丰富性,二是模块的标准化程度。与之相对应的,大数据平台的核心要素也是两个方面:功能的丰富性,以及每项功能的优化程度。
如上图所示,积木模块有很多,有长方形、正方形、三角形、圆柱形等等,相同形状的模块还要有不同的大小和颜色。只有拥有丰富多样的模块,在搭建积木时才有足够的原料。大数据平台的“原料”,就是各个细分的功能组件。从大数据的全生命周期而言,包括数据收集、数据清洗、数据存储、数据管理、数据分析、数据可视化、数据应用几个方面,另外还有数据安全,每一部分又都涵盖大量的功能组件。作为一个通用的大数据平台,还需要考虑到与其他数据平台的连接,形成标准的API接口。
大数据平台不仅要有丰富的功能组件,每个功能组件的优化程度也很重要。还是以积木模块为例,如下图所示,对于同一个三角形模块,右边的显然比左边的更标准一些。同样的,对于每项功能组件,其性能也存在很大差异。
怎样的大数据平台才是比较好的呢?我们可以从功能丰富性和功能优化程度两个维度来考虑,并通过对专门的性能测试来对一个大数据平台进行综合评价。实践方面,中国信息通信研究院近期组织了一次对国内大数据平台的公开评测,从2016年7月20日开始,包括华三、腾讯云、东方金信、星环信息科技、百分点在内5家厂商的大数据平台在中国信息通信研究院提供的32台服务器集群上进行性能测试。该评测从功能点、运维管理能力、可用性、安全性、兼容性、多租户和扩展性等7个维度的38项指标对大数据平台进行考察。值得提出的是,东方金信是第一批通过大数据产品认证的企业之一,旗下产品SeaBox海盒大数据平台v1.0也成为首批通过测试的6款产品之一。
东方金信自主研发的SeaBox产品系列是一个基于分布式架构,集数据实时计算、分布式数据存储、大数据挖掘、计算分析和可视化的大数据平台。在性能方面,Seabox大数据平台在实现高效、实时处理技术的同时,形成了自身的一些特色,比如分布式数据仓库、多图形多种类的展示方式、通过多租户应用完成大数据与云的结合等。
行业解决方案,完整的积木模型
有了积木模块之后,下一步就是搭建积木模型了。这一步中很重要的就是要有关于模型的知识,比如要搭建一座房子,那关于房子的知识越丰富,搭建起来的模型就越生动。就大数据而言,积木模型就是满足用户需求的解决方案。要解决用户真实的需求,除了有通用的大数据平台外,还要对特定行业领域的业务知识有深入的了解,也就是你不仅要有“砖头”,还得知道怎么建“房子”。
如何判定不同解决方案的优劣呢?还是以积木为例。同样是搭建房子,上图中的两栋房子差别就很大。左边的十分简陋粗糙,而右边的则很漂亮,并且细节处理到位。都用的差不多的基础模块,是什么造成了这样的差别呢?——是搭建者心中不同的建设蓝图。只有对房子的样子有完整清晰的印象,才能搭建出如此漂亮的成果。
同样的,对于行业和业务知识的理解深度不同,最终形成的解决方案就会存在很大差别。技术只有与行业知识和具体业务流程相结合,才能解决用户问题,为其创造真实的价值。不然,就会像上图左边那栋房子一样,只有一个简陋的架子,却无法发挥实际的价值。
行业之间的差别很大,不同行业对大数据厂商的需求点也不同,如何用通用的大数据平台来解决不同行业用户的特性需求呢?我们以东方金信的一个政务大数据方案为例,来看看具体的实施路径。要搭建政务大数据方案,首先要明白政府对大数据的核心诉求是什么,也就是政府引进大数据系统是为了解决哪些方面的问题;其次,要有丰富的政务知识,对政府运作机制和政务流程有深入的了解。一般来说,政务大数据是为了帮助政府完善政务信息、人口数据信息、企业资源信息、宏观经济信息等各类信息的存储与交换,实现信息资源跨区域、跨层级、跨部门的互联互通、融合共享,为政府统筹规划和科学决策提供支撑,进一步扩展民生服务和社会管理领域的各种应用,提升政府精细化管理水平和公共服务保障能力。针对这样的需求,东方金信搭建了如下的政务大数据系统。
从上图可以看到,这套大数据系统涵盖了数据全生命周期。从委办局、物联网、企业等各个数据源采集数据,然后通过一系列的分析处理,最终形成“智能办公数据服务系统”和“政府数据开放平台”两个具体应用。通过这套政务大数据系统,实现了如下的价值:为该省建立了一套适用的大数据应用和发展的标准规范体系;重塑数据来源通道,规范了数据入口和出口,减少工作人员重复采集的人力支出;成为各委办厅局大数据共用的基础技术平台,降低数据协调费用和系统建设成本;构建覆盖全省的全息数据库,包括全息人口库建设、全息法人库建设、主题人才库、贫困人口主题库等。
既做平台又做解决方案,一体化是为了降低交易成本
上面谈到大数据平台和解决方案,对于一个大数据厂商而言,在具体的实践过程中会面临一个选择:是专注于大数据平台和大数据方案的某一个,还是两方个都做?虽然这个问题没有一个特定的答案,不同厂商会根据自身的能力水平和战略定位作出不同的选择,但越来越多的厂商倾向于既做大数据平台又提供解决方案。就像积木模块和搭建积木模型一样,大数据平台和解决方案是相对比较独立的两个方面,为什么要两个方面都做而不是专注于一个方面来形成竞争优势呢?
科斯先生的交易成本理论,也许能给我们一些启发。交易分为内部交易和外部交易,内部交易就是通过企业内部的分工合作来完成不同的业务环节,外部交易即通过市场的手段来进行合作。选择内部分工还是市场的方式,决定因素就是交易成本,哪种方式的交易成本更低就选择哪种。就大数据领域而言,基于成本和效率的考虑,越来越多厂商选择用内部分工的方式来处理平台和解决方案的关系。以东方金信为例,对自己动手搭建的平台更加了解,构建行业解决方案时更得心应手,对于用户提出的需求也能更快速地进行反馈,这无疑提升了用户体验。另一方面,具体的实施过程也能对平台的性能提供反馈,比如在实践中发现大数据平台存在的问题和不足,进而对平台进行快速地优化。无论是通过平台构建方案,还是通过方案实践完善平台性能,通过内部协调的方式都比外部合作更为高效。所以,大数据厂商倾向于既做通用平台又提供解决方案,换言之,积木和模型都是自己动手。
OneMoreThing,让大数据的星星之火烧得更猛烈些
我们现在正处于科技高速发展的时代,各个领域的创新层出不穷。相对于其他领域的创新,我始终对大数据情有独钟,并坚信大数据的未来是“星辰大海”。要判断一项技术或者产业有多大潜力,就企业发展本身来看是一个方面,但更重要的是它对于整个社会的价值。如果有什么技术能对社会带来巨大的改变,大数据肯并是一个很有竞争力的选手。为什么这么说?就以政务来看,大数据将有巨大的潜力带来彻底的改变。
我想大多数人都有找政府机构办事的“难忘经历”,不仅从他们的服务中完全感受不到一点人民公仆的态度,还会经常出现一些“怎么证明你就是你”这样让人啼笑皆非的问题。要忍受政府工作人员高傲而冰冷的态度和极其低下的办事效率,真是对人耐性的极大考验,总感觉内心有“洪荒之力”要爆发。要改变这一现状,有两样东西必不可少:一是政府要有改变的意愿,二是政府要有改变的能力。应该说,这届政府还是有改变的意愿的,那么下一步就是怎样才能有改变的能力。通过什么样的工具和方式能提高他们的办事效率?——答案是大数据。
上面讲到过东方金信的一个政务大数据案例,通过大数据的应用,可以提升政府的信息化水平,打通各个信息孤岛,在统一的数据平台上形成信息共享和数据融合,进而提升其低下的治理水平,更快对公民的需求作出反馈。单是提升政府效率这个方面,大数据就已经“功德无量”了。所以,我是以一种热切甚至是渴望的心情,盼望大数据能尽快在政府用起来。
将视角放得更大些,每个国家要崛起都需要一定的机遇。工业化实现了英国 “日不落帝国”的梦想,二战和信息化让美国崛起成唯一的超级大国。那么不禁要问,中国的崛起的支点在哪里?要成为中国崛起的支点,需要满足两个条件:第一,技术和产业本身很重要,潜力巨大并且影响深远;第二,中国与其他国家的差距较小,有实现赶超的现实可能。就这两方面而言,大数据技术和产业无疑是一个不可忽视的选择,可以满足我们对国家崛起的热切期待。
前段时间看了一个台湾综艺节目,节目中讨论中国大陆的互联网科技发展,尤其是支付手段方面对于台湾的全面领先。我是怀着激动的心情看完这个视频的,先上几张图让大家感受下。
我们知道,在台湾人和香港人眼中,大陆一直是“穷亲戚”,尤其是他们一些政客和艺人的某些言论,真的有点刺痛了自尊。古语云,知耻而后勇。正是这些言论和事件,让我越来越感到在经济和前沿科技领域取得领先的迫切。希望有一天,我们在面对台湾同胞时,能理直气壮地说句“瞧瞧你们那政府的办事效率,瞧瞧你们企业那经营效率,瞧瞧你们那科技水平,再瞧瞧我们的,看在同胞的份上,还是让我们来教教你们什么是大数据吧”,想想那个画面都有点激动。
与传统的互联网相比,以云计算、大数据、人工智能为代表的下一代科技浪潮会对人类社会带来更大的变革,这是中华民族崛起的绝佳机会。尤其是大数据技术的广泛应用,对于中国的产业升级大有裨益,希望中国的大数据厂商再加把劲,让大数据的火燃烧得更猛烈一些。我们没有什么可失去的,却有很多值得期待。
人物简介
杜伟杰,北京东方金信科技有限公司联合创始人,兰州大学计算机硕士,先后供职于中软、中联、高伟达等公司,拥有13年金融行业数仓、BI经验,擅长团队组织、规划咨询、数据分析、BI产品等。曾管理200人规模的数据团队,负责组织多个BI产品的研发。服务过的客户包括央行、建设银行、交通银行、邮储银行、东亚银行、各类商业银行及农信社等30余家。