２０１８年１月２５日现代信息科技Jan.2018 第２卷第１期Modern Information Technology Vol.2 No.1云环境下的分层数据仓库架构及其服务研究赵嘉凌（肇庆学院信息中心，广东 肇庆 526061）摘 要：本文通过深入研究现存的各种云数据仓库，提出新的云数据仓库分层设计方案，该方案把云数据仓库分为三层，基础设施层、平台层和分析软件层，并对各层提供的服务进行展开叙述。关键词：数据仓库服务；云计算；非关系型数据库中图分类号：TP311.138 文献标识码：A 文章编号：2096-4706（2018）01-0180-02Ｈｉｅｒａｒｃｈｉｃａｌ Ｄａｔａ Ｗａｒｅｈｏｕｓｅ Ａｒｃｈｉｔｅｃｔｕｒｅ ａｎｄ Ｉｔｓ Ｓｅｒｖｉｃｅ Ｒｅｓｅａｒｃｈ ｉｎ ｔｈｅ Ｃｌｏｕｄ ＥｎｖｉｒｏｎｍｅｎｔZHAO Jialing（Zhaoqing University Information Center，Zhaoqing 526061，China）warehouse design schemeAbstract：In this article，through in-depth study of the existing various cloud data warehouse，puts forward new cloud data ，this scheme is divided into three layers，the cloud data warehouse infrastructure layer，platform layer and layer analysis software，and the services provided by each layer are described.Keywords：data warehouse services；cloud computing；non-relational databases1 简 介设施资源层。硬件资源层通过对大量的普通服务器部署虚数据仓库伴随着商业信息系统的发展而不断演化，传统拟机，来提供低级别的物理设施的抽象化服务。每台虚拟的数据仓库是由运行于传统服务器上的关系型数据库为主，机可视作用来计算和存储的节点。而基础设施资源层则是随后数据资源和数据系统的种类不断扩展，数据仓库部署的通过部署在虚拟机的软件设施来提供“Hadoop服务”。环境不断变化，出现了大规模并行处理系统。伴随着云计算“Hadoop服务”是针对开源Hadoop框架的相关部署服务，的浪潮，其运行系统包括了公有云、私有云和混合云，其实由“计算服务”与“存储服务”两部分服务所组成。所谓的“计体建立在简单服务器集群中[1]。算服务”是在每台用于处理分布式数据的虚拟机上都实现本文旨在解决以下问题：如何在大数据资源云计算的基MapReduce范例。“存储服务”所提供的数据存储服务，础上，对传统数据仓库架构进行重新的设计和定义，从而使涉及两种存储技术，分别是分布式数据存储系统和非关系得其满足当前运行系统的应用需求。型数据库存储技术[2]。2 云数据仓库总体架构及各层提供的服务2.2 平台层提供的服务该层位于本文所提出的分层云数据仓库架构模型的中间云数据仓库架构是为了满足大数据的存储和运算而设层，“数据仓库平台服务”。这里服务提供商不仅可为用户的，其实体，搭建在大量成本低的计算机群之上。提供“量身订造”的数据管理架构，还能为数据处理应用程该架构的终端用户包括了数据仓库的管理者、开发者和序和名为“数据仓库服务”的脚本语言提供运行的环境。使用者，而使用者又分为普通使用者和专业级使用者。对于该层为存储于非关系型数据库的数据仓库构建了逻辑模所有用户来说，后台的数据存储、管理、分析等进程都是“屏型，“数据仓库服务”支持用户在大数据集基础上搭建数据蔽”的，用户可以通过最简洁明了的视窗，对基于网络的分分析应用程序，目前，“数据仓库服务”面临一个问题，即析服务系统，进行交互式的访问。如何有效整合多渠道多类型的数据资源，从而为终端用户提该架构通过分层设计，从下而上，分为基础设施层、平供一个统一的前台用户界面。而如何针对大数据的4V特征，台层和分析软件层，具有一定的可迁移性，方便与其他系统设计出高效能的“数据仓库服务”，或许是决策系统未来的进行整合。以下将就各层所提供的服务进行展开论述。研究方向。2.1 基础设施层提供的服务该层提供以下六大主要服务：该层包括了两个“子”层，分别是硬件资源层和基础（1）设计服务。该服务是指针对数据仓库的设计和建模而开展的服务。该设计服务旨在根据客户的需求以及服收稿日期：2017-11-21务提供商的实际能力，来设计出大数据分析系统的前台和1802018.1现代信息科技 1月.indd 1802018/3/16 17:54:50赵嘉凌：云环境下的分层数据仓库架构及其服务研究第1期后台的模型。该类服务提供随需应变的数据仓库设计服务，示意图、图表等，以便简洁快速完成对相关信息的理解。随以确保能在非关系型数据库中设计并实现数据仓库模型，着越来越多的数据被收集和分析，各级的决策者们均对“数并提供了拥有功能强大的工具箱以辅助终端用户完成各种据可视化服务”表示极大的欢迎，因为它能帮助他们直观地内部事务。看到分析的结果，挖掘海量的变量之间的关联，方便他们之（2）元数据服务。该服务旨在支持元数据的管理，促间进行相关概念和研究设想的沟通交流，甚至提供一种对未进所有服务之间的信息共享和交流。该服务负责维护数据仓来预测的可能。“大数据可视化服务”是以最通用的方式来库的元信息，以及系统配置和系统状态信息，保护可用的数表达信息，让用户之间的信息沟通更方便容易。据资源，维护已注册的终端用户信息，维护可用的节点。具（2）大数据挖掘服务。该服务包含了对海量数据的抽体的信息内容包括了：链接参数，比如非关系型数据库定位取和分析，从而实现对大数据的建模。而从大数据中抽取信及证书；元数据，比如计算机集群里包含的数据集、副本定息一般采取两种形式：预报和描述。正是由于传统的方法难位信息、数据分区特性等。该类服务存储了所有关于表格的以实现对数据的有效可视化，因此催生出“大数据挖掘服务”。信息，包括了：表格所在分区、表格的模式、表格中列及其该服务使得终端用户可以通过使用各种类的数据挖掘算法，类型、表格的定位信息等等。用户可通过不同的网页服务接可实现对大数据挖掘模型的设计、创建以及可视化的过程。口，对以上信息进行查询和修改。（3）大数据在线分析处理服务。该服务旨在帮助用户（3）管理服务。该服务为了让数据仓库的管理者完成进行大数据分析，进而对多重非关系型数据库或者分布式文对终端用户账户的管理、定制服务配置以及及时报告平台使件系统中所传播的信息，实现有效的解读。该服务通过联机用和性能状况，而提供必要的网络工具。“数据仓库管理服分析技术，支持终端用户对大数据整合后的度结构进行务”所提供的服务，包括了系统与相关软件的安装，系统运设计、搭建和管理，让用户以最便捷的方式，实现对大数据行的监测，数据库系统相关配置，补丁、备份和灾难恢复，有选择的抽取，并以不同视窗的方式，实现可视化的呈现。事件响应，及故障排除，并对操作系统运行所在的物理及虚该服务为支持用户对大数据的查询和分析，提供了一系列的拟服务器提供维护服务。联机处理“度数据集”操作。（4）提取、转换、加载服务。该服务是在MapReduce（4）大数据控制面板服务。控制面板是一种用户交互范例的基础上，提供专门的连线模式来定义其主要任务。该界面，通过图像化的直观显示出某个组织的现状及发展趋势服务在Hadoop框架中，执行一系列的MapReduce处理任务，相关的核心指标数据，便于决策者第一时间掌握最全面的参比如从HDFS（基于Hadoop的分布式文件存储系统）读取考讯息。该服务支持终端用户通过简单点击相关按钮，即可数据，并遵循非关系数据仓库的格式要求，把这些数据输进在控制面板完成数据的访问、合并，并以可视化的方式呈现。非关系数据库中。（5）大数据报告服务。该服务为终端用户提供种类各（5）查询管理服务。该服务主要负责对任何输入的请异的即用型服务，后台通过面向特征的编程，使得前台能够求进行接收和调度。它针对终端用户请求的生命周期各个阶为终端用户分类提供相应的服务，比如对普通用户，则提供段，包括编译、优化、执行、各阶段的进程，展开管理。当一系列的用户创建报告和管理报告的工具，对开发者，则提前数据仓库已被设定为一种情形，即数据资源是固定不可变供各种应用程序接口，用于整合、扩展数据，进而形成自定动的，但这种情形在云环境下会被彻底打破，只要有需求，义应用程序的进程报告。在用户界面上，该服务主要提供形在任何时间点，任何数据资源都可以使用并可变动，而这显式自由的报告，包括了交互式的、表格化的和图形化的报告。然是传统数据仓库所不能满足的。该服务主要负责执行终端用户的查询，根据“元数据服务”所存储的数据，生成查询3 结 论服务的执行计划。在未来的研究中，将着重研究本文提及的数据仓库平台（6）数据传输服务。该服务负责把数据从存储系统传层，并对开发的细节展开研究。输到整个体系架构的顶层，即数据仓库分析软件服务。该顶参考文献：层通过对传输上来的数据进行处理和利用，从而执行脚本和[1] 张聪，钱松荣.基于数据仓库的企业智能决策研究 [J].微完成数据查询任务，其运行结果是生成报告以及可视化的页型电脑应用，2017（5）：45-48+55.面和控制面板等。[2] 李询，陈通海，周凯.浅析云分布台站数据库 [J].中国无线电，2015（5）：63-.2.3 数据仓库分析软件提供的服务作者简介：赵嘉凌（1979－），女，广东肇庆人，计算机工程师，（1）可视化服务。该服务以直观图或图表形式来展示广东工业大学软件工程硕士。现研究方向：大数据挖掘，数据分析，数据。一直以来，人类依赖于一切可视化的显示方式，比如云计算。2018.1181现代信息科技 1月.indd 1812018/3/16 17:54:50
