ＤＡＴＡＢＡＳＥ ＡＮＤ ＩＮＦ０ＲＭＡ Ⅱ０Ｎ ＭＡＮＡＧＥＭＥＮＴ 数据库与信息管理 基于 Ｈａｄｏｏｐ 的实验室数据管理系统的实现 管莹，李佳音 （河北省秦皇岛市东北大学秦皇岛分校计算机与通信工程学院，河北秦皇岛０６６００４） 摘要：构建基于Ｈａｄｏｏｐ的实验室数据管理系统，实现了云计算带来的补偿与分析支持服务，解决了多种数据类型查 询不便的问题，也对云计算在教育科研领域的应用进行了尝试性的探索，为将来大规模应用云服务奠定了可靠的基础。 关键词：云计算；Ｈａｄｏｏｐ系统；数据挖掘 Ａｃｈｉｅｖｅ ｏｆ ｔｈｅ Ｌａｂｏｒａｔｏｒｙ Ｄａｔａ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ ＧＵＡＮ Ｙｉｎｇ，ＬＩ Ｊｉａ－ｙｉｎ （Ｈｅｂｅｉ Ｑｉｎｈｕａｎｇｄａｏ Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｎｏｒｔｈｅａｓｔｅｒｎ Ｕｎｉｖｅｒｓｉｔｙ ａｔ Ｑｉｎｈｕａｎｇｄａｏ，Ｈｅｂｅｉ Ｑｉｎｈｕａｎｇｄａｏ ０６６００４） Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ｐａｐｅｒ ｓｈｏｗｓ ｈｏｗ ｔｏ ｄｅｖｅｌｏｐ ａ Ｈａｄｏｏｐ－ｂａｓｅｄ Ｄａｔａ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ ｆｏｒ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｌａｂ，ｉｍｐｌｅｍｅｎｔ ａ ｓｅｒｖｉｃｅ ｏｆ ｒｅｔｒｉｅｖａｌｓ ａｎｄ ａｎａｌｙｓｉｓ ｓｕｐｐｏｓｅｄ ｂｙ Ｃｌｏｕｄ Ｃｏｍｐｕｔａｔｉｏｎ，ａｎｄ ｓｏｌｖｅ ｔｈｅ ｄｉｆｆｉｃｕｌｔ ｂｙ ｔｈｅ ｑｕｅｒｙ ｏｆ ｍｕｌｔｉｐｌｅ ｔｙｐｅ ｄａｔａ． Ｔｈｅ ｗｏｒｋ ｏｆ ｔｈｉｓ ｐａｐｅｒ ｉｓ ａ ｄｉｓｃｏｖｅｒ ｏｆ ａｐｐｌｙｉｎｇ ｃｌｏｕｄ ｃｏｍｐｕｔａｔｉｏｎ ｉｎ ｅｄｕｃａｔｉｏｎ ａｎｄ ｒｅｓｅａｒｃｈ，ａｎｄ ｍａｋｅｓ ａ ｓｏｌｉｄ ｆｏｕｎｄａｔｉｏｎ ｏｒ ｔｈｅ ｆｆｕｒｔｈｅｒ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ ａ ｌａｒｇｅ ｓｃａｌｅ ｃｌｏｕｄ ｓｅｒｖｉｃｅ． Ｋｅｙ ｗｏｒｄｓ：Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ；Ｈａｄｏｏｐ ｓｙｓｔｅｍ；Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ １背景 实验室数据的存储管理是实验教学工作的重点之一，因 此利用计算机技术开发出一套行之有效的实验室数据管理系 统是非常必要的。利用云技术，整合实验室大量丰富的基础 硬件资源．建立以实验室为中心的能够提供动态资源池、虚 ３．２软件环境 Ｌｉｎｕｘ Ｕｂｕｎｔｕ １０．１０ Ｈａｄｏｏｐ１．０．３包 Ｓｕｎ－ｊａｖａ６－ｊｄｋ包 ｓｓＨ包 Ｅｃｌｉｐｓｅ包 拟化和高可用性的计算平台。根据现有的实验室数据管理系 统存在的问题，利用现有的软硬件环境，在统一的云平台上 定制数据管理服务，构建实验室数据管理系统。 ３．３实验室数据挖掘功能实现及性能比较 为了验证在Ｈａｄｏｏｐ平台上对实验室数据进行有效的运 算，实现数据挖掘功能，使用某一界学生的各门实验报告作 为训练集，分析学生的实验课表现，为不同科目的实验教学 提出指导性意见。 ２实验室数据挖掘的必要性 近年来，实验室除了有能力存储更多的数据之外，还要 面对更多的数据类型。这些数据的来源包括实验教学资料； 学生创作类资料和学习过程中产生的资料：教育管理与教学 首先在程序中直接把需要处理的文件对应的目录路径告 评估类的数据资料：教育科研过程所产生的资料：其他特色 资料等。除了那些固定的数据生产源，各种查询行为还可能 加快数据的积累速度。因此有必要在实验室教学管理平台上 诉ＭａｐＲｅｄｕｃｅ框架，作为ＭａｐＲｅｄｕｃｅ程序的输入。在Ｍａｐ阶 段调用ｍａｐ（）函数对数据进行清理，ＦｉｌｅＩｎｐｕｔＦｏｒｍａｔ对输入 进行划分，ＲｅｃｏｒｄＲｅａｄｅｒ对输入进行记录读取，得到ｋｅｙ值为 ＩｎｐｕｔＳｐｌｉｔ对象的路径，ｖａｌｕｅ值为Ｗｒｉｔａｂｌｅ。ＭａｐＲｅｄｕｃｅ框架 把读ＩＲＩ￣＜ｋｅｙ，ｖａｌｕｅ＞￣传递给ｍａｐ程序进行执行，ｍａｐ程序 对报告进行相关操作后，利用ｒｅｄｕｃｅ程序将处理后的报告分 片进行整合，得到处理后的整个文件。Ｒｅｄｕｃｅ程序将构建的 对象传递给ＯｕｔｐｕｔＦｏｒｍａｔ进行输出。 通过数据集进行测试，结果显示完全可以将文件中出现 开发一个基于Ｈａｄｏｏｐ的数据信息查询与分析系统．针对永远 都在增长之中数据进行管理。 在实验室的数据挖掘系统中，有的模块不需要很大的计算 量．而有的模块需要非常大的计算量。所以应充分利用Ｈａｄｏｏｐ 的集群特征，将数据挖掘系统中需要巨大计算能力的各个模块 的计算和存储要求扩展到Ｈａｄｏｏｐ集群中的各个节点上，利用 集群的并行计算和存储能力来进行相关数据挖掘工作。 次数超过一次的内容在输出文件中只出现一次。Ｍａｐｐｅｒ处理 的数据是由ＩｎｐｕｔＦｏｒｍａｔ分解过的数据集，其中ＩｎｐｕｔＦｏｒｍａｔ的 ３基于Ｈａｄｏｏｐ的云平台的搭建 ３．１硬件环境 本实验使用４台ＰＣ机。 内存：２ＧＢ。 硬盘：５００ＧＢ。 作者简介：管莹（１９７９一），女，硕士，讲师，研究方向：计 算机网络、云计算技术；李佳音（１９７７一），女，硕士，讲师， 研究方向：计算机软件及网络。 收稿日期：２０１３—１１－０８ 内部局域网具有１００ＭＢ带宽。 潞
