实例详解对ServerlessSQL大数据分析技术的应用

实例详解对ServerlessSQL大数据分析技术的应用

　　 近年来， Serverless作为一种新日本sqlserver架构直接或间接推动了的发展，同时基于Serverless的轻量计算也成为了新的技术热点，而Serverless SQL大数据分析

　　 目前，国内云计算厂商UCloud推出的一款基于Serverless的SQL分析计算引擎USQL，可轻松完成面向海量数据的数据建模工作，SQL即可完成数据查询和分析，极大降低使用大数据的门槛，且无需数据库管理员和运维人员sqlserver左侧对大数据工程师的依赖。

　　 下面通过实例来对Serverless SQL大数据分析技术的应用做出详解：

　　 爱普新媒是一家专注于sqlserver空格产品研发和新媒体整合营销sqlserver锁，旗下拥有100余款精品软件，内容涵盖日常生活、效率工具、文章资讯等多个方面，主营以天气预报、快游等综合自媒体矩阵为载体的推广业务和以云魔方DSPsqlserver 行广告分发平台为基础的广告投放业务。

　　 目前爱普新媒广告业务数据规模达到数百TB，日增长量为1TB左右，业务日常不固定的分析需求非常多。在现有的大数据处理方案下，数据部门每月需投入大数据工程师20个人/日，平均每次需求处理时长为1.8天，此外还需额外花费数千元维持一个数据仓库集群。基于已有架构，数据部门将广告日志数据压缩后存放于对象存储UFile中，接收到业务分析师不固定的数据需求后，再将用于分析的原始数据，临时加载到数据仓库UDW中，完成SQL分析后实施清除操作。

　　 1由于数据规模较大，业务分析师无法自主完成分析，必须极大程度依赖大数据工程师；

　　 2任务处理周期长，若出现新的需求变更或分析结果未达预期的情况，需要重新走一遍处理流程；

　　 1业务部门每月的不固定数据分析需求非常多，数据部门有限的技术人力资源难以支撑；

　　 3随着数据日增长量的不断提升，用于临时存放不固定需求数据的GreenPlum成本不断在增加。

　　 爱普新媒对业务改善的诉求便是：可支持数百TB规模的数据分析、业务分析师可独立完成不固定需求分析工作、具有较强的Ad-Hoc能力、可缩短每次需求处理时长、可降低计算成本投入和运维投入。

　　 针对以上问题，UCloud使用USQL产品帮助爱普新媒对现有业务数据处理架构做出了改善。UCloud发现，爱普新媒现有架构中计算与存储是分离的状态，其原始数据并未与GreenPlum强耦合，这为更换分析引擎的方案实施提供了便利。

　　 首先在新架构中使用USQL替换原先用于临时加载数据的GreenPlum，省去数据从UFile导入到GreenPlum的过程，使得业务分析师能够直接通过SQL分析UFile中海量数据，全程无需大数据工程师的参与。

　　 此外，数据对接中发现，爱普新媒的数据格式为ON并通过GZIP格式压缩，UCloud了解后一周内完成USQL产品升级，得以支持这两种数据格式，减少对接上的障碍，并协助爱普新媒重新布局其现有数据，目前爱普新媒实际业务SQL已全部落地，同时完成产品培训以及现场演示。

　　 相较于爱普新媒现在每月花费在传统数据仓库（sqlserver分词）的数千元，处理同样的数据，USQL可将成本控制在每月几十元，因为USQL按照实际分析数据量计费，每GB数据分析价格极低，且不使用时不计费。

　　 爱普新媒现有架构下，处理不固定的数据需求，数据导入与分析平均处理时长为1.8天，而USQL可省去数据导入的步骤，减少运维工作量，大幅度缩短每次任务完成时间。

　　 爱普新媒所有真实业务SQL均已落地，其中最耗时的SQL分析时间可从0秒降至118秒，整体明显提高SQL分析效率。

　　 目前每月需投入大数据工程师20个人日，使用USQL产品，业务分析师可直接通过SQL在对象存储UFile中完成数据分析，极大减少对工程师的依赖，有限的人力资源可得到更好的利用。

　　 爱普新媒CTO牛德恒总结道：“使用USQL产品，用户在原有的数据文件基础上进行数据建模，即可使用SQL进行业务数据的快速查询，此种方式对原有数据文件改动较小，用户不用大数据分布式处理的过程，业务迁移方便。对比我们现有的大数据处理方案，节省%的服务器成本，提升%数据分析速度，同时也缩短了新业务的开发周期，值得推荐。”

　　 原文标题：提升效率%+节约成本%，Serverless SQL大数据分析的实践

　　 文章出处：微信号：TheBigData1024，微信公众号：人工智能与大数据技术欢迎添加！文章转载请注明出处。

　　 和5G智能工厂已经成为当今社会的热门话题。它们在很多领域都有着广泛的应用，如工业制造、医疗保健、交通运输等。在本文中，我们将探讨

　　 行业是最近这几年比较火，比较高薪的行业了，很多人都想分一杯羹，经常同学问我什么是

　　 ?什么是python?这些能学到什么技能?以后能学到什么知识?有太多的疑问，小编今天就简单写出来

　　 的性价比极高，主要得益于两个因素，一个是国产BI软件按功能模块购买，大幅度降低BI

　　 有助于找到问题的解决方案，如降低成本，节省时间并降低决策风险。通过结合