让数仓自动化更触手可及 JOS怡和科技开启大数据智能时代

　　以“数领先机，智赢未来”为主题的第九届中国数据库技术大会(DTCC2018)于5月10日-12日在北京举办，亚洲主要的系统集成商、技术解决方案供应商及技术咨询顾问JOS怡和科技受邀参会，JOS中国区技术和合作伙伴总监杨旸出席活动并发表主题演讲，对数据仓库自动化工具进行了详细介绍。此外，JOS还邀请了WhereScape亚洲区解决方案总监萧俊庆到场，通过数据剖析和数仓自动化软件的展示，就如何实现自动化数据仓库，如何实现全面数据管控和治理进行了分享。

　　2018中国数据库技术大会JOS怡和科技展区

　　在物联网极其发达的时代，有网络的地方就会有各种数据的产生，传统平台和开发方式已经很难满足“大数据”的规模和需求，报表质量差、数据质量难以规范等现象频繁出现。采用传统的数据仓库开发方式，难以跟上业务需求的不断变化，开发者大量精力放在编写代码上，且开发能力参差不齐，难以保证开发质量和最佳的数仓实践，往往花费了6-12个月，而结果不准确、不全面、不符合需求，或者最终发现数据质量本身难以满足业务期望，造成时间和人员精力的巨大浪费。如何从熟悉或陌生的多个来源、多年积累的数据中快速挖掘有价值的信息，形成及时、准确的决策，数据仓库自动化是近年最火的趋势之一。

　　拥有10余年科技咨询经验的JOS怡和科技，更深刻地理解客户的业务和管理，通过开发数据仓库自动化系统，帮助客户IT团队实现对数据更自动、更低成本、更敏捷地开发。

　　实现敏捷开发 紧跟需求变化

　　传统数据开发需要数十个星期，漫长的需求分析、由丰富的分析师和专业开发团队历经半年到一年开发，但仍常常出现用户对结果不满意或者改变需求的情况，造成开发跟不上业务，双方隔阂越来越大的现象。JOS中国区技术和合作伙伴总监杨旸表示，在传统的数据仓库开发方式和手工编码耗费了过多精力，开发者对数据本身的业务逻辑、清洗、处理等很难投入足够精力。多年多系统积累的数据也很难靠简单的数据标准来管控，而数仓自动化缩短时间，可以很快看到效果，找出潜在问题，快速与用户进行沟通，迅速得到用户反馈。

　　JOS中国区技术和合作伙伴总监杨旸发表主题演讲

　　数仓自动化能够帮助企业、政府等用户快速开发数据仓库，将几十人的团队缩小到两三人的敏捷小分队，同时大大缩短时间，将传统开发需要用几个月的时间缩短到几周或者几个小时。据杨旸介绍，JOS怡和科技利用WhereScape等自动化工具可以在几天的时间内完成开发、测试和文档，基本实现了代码自动化，从完全陌生的数据到给客户访问，用十分钟就可以完成，真正实现快速见效、让管理更精准，与业务部门更快配合和创新。

　　以荷兰Vodafone电信为例，该公司为了融合一个数据质量较差的系统，花费了9个月时间和大量资金进行开发和测试，但数据质量仍然存在问题。当采用WhereScape产生数据的方式后，将时间缩短到了几天，并且高质量地完成了报表，大大降低了运营成本。

　　提升开发质量 降低维护难度

　　数仓自动化在提升开发速度的同时，更能够减少手工代码带来的失误。传统的数据库由于过多人工参与的因素，不可避免造成开发者失误。同时，开发者经验参差不齐，该去重的地方没去重，造成重复统计;该采用Slow Changing维度的地方采用了普通维度造成错区统计等。最后不可避免地导致统计不准确，用户不信任。WhereScape数仓自动化系统能够自动产生存储过程、SQL代码等，并自动产生文档，包括数据源统计情况、血缘等，将重复、可自动编码的工作自动化，减少人工代码，从而确保了数据仓库的高水准。

　　从容面对监管，实现数据管控和治理

　　随着《个人信息安全规范》和欧洲GDPR的出台，对个人信息、敏感信息的来源、处理、存储、访问、修改等严格规定，WhereScape亚洲区解决方案总监萧俊庆补充说，自动化和数据治理机制能够将数据汇集到一起，自动记录从数据加载到报表的整个流程，从ODS、贴源层、存储模型和数据集市中，随时找到、解释、处理关键字段，更便宜、快速、从容地满足监管要求。最后，就数仓自动化如何缩短开发时间和提升数据质量方面的细节，两位主讲人与现场嘉宾展开了热烈的问题互动与探讨。

　　现场问答互动

　　目前，JOS怡和科技凭借10多年服务于零售、制造业、餐饮、地产、金融等行业的科技咨询经验，能够帮助客户IT团队实现敏捷开发，更切合实际地将大数据落地。由数学、统计学、数仓架构、大型项目管理等多领域专家组成的JOS团队，专业知识涵盖了整个大数据能力范围，无论企业是否拥有成熟的开发团队，它都能帮助企业决策者和业务部门更容易、更快速地从海量大数据中获取真正有用的洞察，为决策提供科学数据依据，为企业赢得客户与市场先机。