• 在线阅读杂志

      2018年05月20日

      第10期 总第484期

      封面文章
      “网银”殊?#23601;?#24402;路
      金融服务似乎正在?#38405;?#24819;要的方?#35282;?#34892;。 相应的,金融的生态及格局也在发生重大变化。技术的推动让金融的数字化转型愈发明显,传统金融机构“离柜率”同互联网银行业务激增形成强烈的对?#21462;?a href="/magazine/it/2018/484/2018-05-22/190812.html">[详细]
      精彩推荐
    • 金山云:云上的大数据平台

      时间:2017-05-27    来源:《IT经理世界》    作者:李昊原 我要评论() 字号:T | T

    • 4.jpg

       电商企业有两个鲜明的特点,第一是,?#34892;?#22810;促销运营的活动,比如“双十一”、“双十二”;第二是,对大数据的?#35272;?#24615;很强,借助对数据的分析进行精准推送。

      一家企业一天可以产生多少数据呢?几个例子可以说明问题:一家中大型的游戏公司,每天玩家可以产生600GB的行为数据;一家互联网企业,用户每天的点击流和行为数据可以达到500GB;而一家医疗行业,或是生物分析行业的企业,假如想对几十万甚至上百万人做基因的数据分析,人类的DNA是30亿个碱基对,那每个人DNA的数据大概就是3GB,分析的数据量将?#24179;?#29978;至达到PB级。对一些企业来说,大数据能力不仅是一种?#38750;螅?#32780;是企业运营的必需品。

      在这样的数据量面前,一个显而易见的问题是如果电商企业自建机房,只为应对促销活动时的IT压力,这意味着?#33322;?#22823;?#21487;?#22791;,而在平时,这些资源是被闲置的,这是成本上的浪?#36873;?#21478;外,大数据平台的运营和维护成本也比?#32454;摺?/p>

      随着云计算的?#20284;穡?#20225;业?#36861;?#23558;数据迁?#39057;?#20113;上,以金山云为例,其存储企业的总数据量已超过400PB,并以每天500TB的速度在不?#26174;?#21152;,在云上提供大数据服务成了一种必然。

      在电商企业使用云平台之后,实时数据则会通过万兆网的专线,传输到金山云KMR(Kingsoft MapReduce,金山云托管Hadoop服务)集?#33322;?#34892;处理与分析,然后将处理结果传回电商的数据中心。在促销活动时,可以按需购买资源,只需几?#31181;?#23601;能灵活扩容与收缩,成本?#38470;?#25928;率却大大提升了。同时,也不必在运营维护上?#24230;?#36807;多资源,能更专注于本身的业务。对大多数技术不够强的企业来说,面对突发情况,KMR的安全性也比自己搭建的大数据平台要更高。

      金山云大数据和AI技术总监张东进将企业对云上数据的应用分为四个阶段:最基础的是将数据放到云上,包括对数据的存储?#22836;?#21457;;第二个阶段,是使用数据驱动决策和运营,包括商务智能和统计分析;第三个阶段,不仅仅用数据来驱动决策和运营,还会利用数据来支撑一些关键业务,比如电商的商品推荐功能,一些传统制造业企业,也会用数据配合人工智能,去优化生产制造流程;第四个阶段,完全以数据为核心去构建业务模式,比如今日头条。

      “要是简单地把企业分为互联网企业和传统企业,前者的数据意识比?#32454;擼钟?#26377;较强的技术实力,业务模式通常也跟数据深度绑定,在数据应用上会走得比较深入。而传统企业,早期主要是在商业智能(BI)上应用数据,现在?#37096;?#22987;思考如何来应用大数据。我们发现一个趋势,两年前,传统企业认为大数据重要,是因为国家和?#25945;?#30340;宣传,并没有真正的体会;而现在,他们的竞争对手在用大数据,他们能感受到差别,也真的认为大数据很重要了。不管哪种企业,都可以在这四个阶段中满足自己的需求。” 

       
      硬件革命推动大数据“上云”
       
             大数据的关键是建立一个稳定高效的大数据分析平台。2011年Hadoop开始流行时,大数据在?#23548;?#37096;署中有一系?#24515;?#20197;解决的问题:多租户模式导致对数据安全性的诟病;搭建大数据平台时,需要采购大?#21487;?#22791;,对人员的技术要求高,时间长达数月,难以快速部署;对计算能力进行扩容,从采购机器到完成会耗时长,系统缺乏灵活性和可靠性。
       
            与之?#26434;?#30340;是,当时网络还在千兆网时代,硬盘是每秒?#21019;?0的SATA,计算方面是Westmere处理器,硬件的不足导致移动海量数据的成本高,计算需要在数据所在的地方进行,限制了大数据技术的落地。而现在,100G网络已经出现,CPU的计算能力提升了10~20倍,最近发布的英特尔闪腾P4800X固态硬盘,每秒?#21019;未?#21040;50万。硬件的革命性进步,让计算和存储可以分开到两个独立的集群中,通过高速互联网来连接,云上大数据平台的实现成为可能。
       
             KMR就是金山云依托英特尔在硬件方面的实力,推出的云上大数据服务,通过数据打通,企业客户在金山云上以及在自己的数据中心产生的数据,可以在平台上一站式地做计算、做分析。
       
             起家于IaaS的金山云,过去两年深耕PaaS领域,更擅长于偏基础性的平台服务。“我们发现,SaaS更像是点上的需求,而PaaS则是广泛的需求。比如说在一个大?#22270;?#22242;中,都会用同一个PaaS来做大数据服务。”针?#20113;?#19994;对SaaS方面的需求,尤其是传统企业所需要的能够直?#29992;?#23545;运营?#22836;?#26512;人员的数据服务,金山云除了自己开发,还通过与合作伙伴合作的方式在KMR上达成。云上大数据平台可以满足企业在数据处理第一和第二阶段的需求,更高阶段的数据应用,需要云上大数据和人工智能进行深度融合,这也是金山云接下来的重点方向。“我们可以通过人工智能技术改进大数据平台,在数据的接入、转换、挖掘,和支撑、赋能企业业务做到更好。”
    • 加入收藏
    • [ 作者:李昊原 ]
    • 分享到: 更多
      标签:
    • 相关推荐
      无相关信息
    • 最新消息
      · 金山云:云上的大数据平台2017-05-27
      · 阿里云的数据三部曲2017-05-27
      · 亚马逊AWS:云上构筑大数据框架2017-05-27
      · 云上的数据生态2017-05-27
      · SaaS CRM破旧出新,销售易用四朵云助力企业连接客户2017-05-25
        已有条评论,查看更多评伦发表评论
    • 用户名:  密码:              匿名发表  | 注册会员
    • 网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述
    好彩1在线购买