admin 管理员组文章数量: 1087139
2024年5月5日发(作者:代码中substr代表啥)
2010年第31期 SCIENCE&TECHNOLOGY INFORMATION O IY论坛0 科技信息
数据仓库元数据的集成及管理
孙浩杨轶群
(中国人民解放军91550部队91分队 辽宁 大连 1 16023)
【摘要】元数据是数据仓库项目取得成功的关键因素之一,而元数据规范又是成功管理元数据的关键,根据公共元数据模型(CWM)的
标准对基于元数据模型的数据仓库进行集成,能有效解决以往元数据互操作的复杂性问题。
【关键词】元数据;元数据规范;公共元数据模型
O 引言
3.1元数据包括数据仓库数据库中数据的描述和ETL、数据挖掘及
数据仓库系统是以面向主题、面向决策的数据存储为基础。在企
OLAP的过程描述。元数据居于整个系统的核心,统一管理数据仓库
业内部实现的从数据采集、处理、存储到决策支持的端对端的解决方
数据库创建、展示和数据仓库应用的各个环节的数据和过程,使数据
案[1_。近年来.有关数据仓库的讨论已经成为决策支持和知识管理的热
仓库数据库体系结构各个环节有机的结合在一起。
点,而元数据的规范与管理却日益成为数据仓库系统中迫切需要解决
3.2保持元数据的有效性和一致性,主要包括元数据的所有权和操
的一个难点
作权;元数据的共享;元数据的变化历史;元数据的存储;各应用如何
访问元数据等。
1 元数据的定义及分类
3-3元数据库管理要提供统一的用户接口,以便元数据的共享和交
换。
元数据通常被定义为:“关于数据的数据”。它是描述数据仓库内
3.4建立一个元数据访问和整个元数据生命周期管理的系统,它是
数据的结构和建立方法的数据。元数据可以按系统用户的角度主要分
元数据访问和集聚的平台。数据仓库所有的元数据都存放在元数据库
为两类:技术元数据(Technical Metad ̄a)和业务元数据fBusiness
中,实现元数据的集成。
Metadat ̄ 。
3.5建立一种元数据交换协议,不同子系统中的元数据都通过这种
技术元数据:它是关于数据仓库系统技术细节的数据。例如,源系
协议来交换数据,从而提供不同子系统元数据集成的良好机制,便于
统的数据模型,数据抽取规则和计划,数据转换规则和版本控制,数据
系统在分布式和异构系统集成方面应用的扩展。
仓库数据模型,数据汇总规则等。它主要为负责开发,维护和管理数据
仓库的IT人员服务。
4元数据模型的集成方法
业务元数据:它从业务的角度来描述数据仓库中的数据。例如.预
CWM(公共元数据模型)是一个完整描述数据仓库和业务分析领
定义的查询和报表,企业的概念模型,数据转换的商业规则等。它为最
域的元模型。它提供构建元数据所需的语法和语义,利用这些数据可
终用户服务,使最终用户能够理解系统的各项操作.以便更好地应用
以描述一个完整的ISC(信息供应链)的所有组成部分。CWM用UML
数据仓库为其服务。
表示,CWM对UML的子集进行了扩展经包含数据仓库和业务领域的
2元数据的作用
概念。CWM利用UML强大的表达能力来定义复杂元数据及其关系。
cwM元模型层次如表1所示。
元数据贯穿数据仓库的创建、维护、管理和使用的全过程,是联系
表1 CWM元模型层次
数据仓库中各部分的纽带。元数据对于整个数据仓库系统的作用主要
表现在以下几个方面:
管理层 数据仓库处理包 数据仓库操作包
2.1元数据是进行数据集成所必需的。数据仓库最大的特点就是它
分析层 转换包联机分析处理包(OLAP)数据挖掘包信息可视化包业务术语包
的集成性.不同数据源中的数据通过采集,整理等流程,按照一定的模
资源层 对象包 关系型包 记录包 多维包XML包
式存放在数据仓库中这些数据源与数据仓库中数据的对应关系和转
基础层 业务信息包数据类型包表达式包键和索引包软件部署包类型映射包
换规则等都存储在元数据存储库中,方便用户的访问。
2.2元数据是保证数据质量的关键。由于底层的技术实现对用户来
对象模型层 核心 行为包 关系包 实例包
说是不“透明”的,数据仓库的使用者常常会对数据产生怀疑。借助元
数据管理系统,他们能够方便地了解数据的来龙去脉,以及数据抽取
CWM模型驱动的本质是任何工作都从CWM元模型开始。CWM
和转换规则等信息。这样,他们自然会对数据具有信心,同时,也比较
提供了基于模型的元数据集成体系结构所需的用于问题域的语义完
容易发现数据所存在的质量问题。
2.3元数据定义的语义层能够帮助最终用户理解数据仓库中的数
整的公共元模型.CWM的MOF( ̄对象工具)提供了所需的形式化规
据。元数据可以实现业务模型与数据模型之间的映射,因而可以将数
则集.各种不同的元数据都共有一个相同的元一元模型,这样就可实
现元数据间的互通。MOF是一个逐层抽象的模型,如表2所示。用模
据以用户需要的方式“翻译”出来,从而达到帮助最终用户理解和使用
型定义数据。用元模型定义模型,最后用一个通用的抽象元一元模型
数据的目的。
定义各种元模型。相邻两层中。上层是下层的抽象,定义了下层可以使
2.4元数据提高了系统的灵活性。元数据记录了整个系统中数据的
用的概念,下层在定义本层中的概念时使用到上层定义的概念。上层
来龙去脉,使得技术人员在数据仓库系统开发、维护和升级工作中,便
于实现新的设计与规划。成功的元数据管理系统,可以把整个业务的
是下层概念的结构描述,下层是上层概念的实例化。
表2 MOF模型
工作流、数据流和信息流有效地管理起来,从而提高系统的灵活性和
可扩展性。
元摸型层次 M0F术语 示例
2.5元数据是进行影响分析所必需的。通常情况下,在对数据仓库系
M3 元一元模型 抽象类的定义
统执行实际的变化操作前,管理员需要对潜在变化的影响进行评估。
M2 元模型、元一元数据 抽象表的定义
例如.源模式的变化可能影响转换规则,而且也可能对数据仓库或者
数据集市的结构造成影响。明显地,只有获取元数据存储库的信息,才
Ml 模型、元数据 职员表的定义
可以自动检测到哪些源变化可能对数据仓库造成影响。
M0 对象、数据 职员表中一条记录
3元数据规范
从前端的数据资源到转换和净化,再到终端用户分析,数据仓库
良好的元数据规范是成功构建数据仓库的重要前提 ,其应包括
管理的整个ISC的完整模型都能用CWM的元模型来建立。基于模型
以下几部分的内容:
驱动体系结构(MDA)的数据仓库集成,将系统的功能(下转第62页)
2010年第31期 SCIENCE&TECHNOLOGY INFORMATION O/T论坛。 科技信息
3加强物流的信息化管理。
将发往同一目的地址的订单进行合并处理,并对物流费用按一定比例
2_
物流信息化是电子商务的必然要求,没有物流的信息化,任何先
折算,并根据发货13期和成本等约束条件确定运输这些货物的最适宜
进的技术设备都不肯能应用于物流领域,更不能满足电子商务对物流
的路线。若买家所购买商品的发货地点在同一个城市或地区,则可以
将多件商品合并成一个快件发出,按实际重量收取物流费用;若买家
配送的要求。
借助互联网络组建以C2C电子商务平台为中心的物流管理平
所购买商品的发货地点不同,则可依据各个快件的重量与配送距离的
远近按一定的比例给予物流费用的折算,并且在快件到达目的地时,
台,集网络销售与物流配送为一体,逐步推广条形码、GPS等物流技术
将同一个收货人的不同快件进行~次性投递,提高投递人员的工作效
的应用,确保信息通畅,能够准确定位快件位置,完成对订单信息的分
率。当然,对快件的合并投递还有赖于物流的信息化管理以及信息交
类统计等;通过信息技术的应用实现仓储存取的优化、运输路径的优
流的通畅,如图2所示。
化,配送路线优化,对物流订单的合并处理等,以求降低成本、增加客
户满意度、提升竞争力。
物流配送最终的目的就是要将正确的货物在合适的时间、合适的
条件下,以合适的价格发送到正确的客户手中,而本文在构建C2C电
子商务物流应用模型时主要是从客户的角度来分析问题,看客户需要
个怎样的物流。怎样的物流才会是一个令客户使用起来满意的物
流,如图3所示。
一
C2C电子商务平自朋务器
图1 物流组织方式与管理模式重构
f
买家 卖家 物梳公司
图3销售与物流管理平台
【参考文献】
[1]章炳林.C2C电子商务物流模式的选择Ⅱ丁.现代商业,2oo8(o9).
[2]孙样.基于电子商务的物流再造[J】.科技信息,2007(36).
[3]王红红.我国C2C市场发展实例分析闭.商业时代,2007(35).
作者简介:赵美林(】979一),女,山西大同人,三峡大学计算机与信息学院,
助教.硕士研究生毕业于管理科学与工程专业,主要研究方向为电子商务与信息
管理
图2物流订单整合
[责任编辑:汤静]
(上接第56页)规范与系统在特定平台上的实现分离,使得该体系结
新设计,以便与基于模型的集成方法兼容。唯一需要的是建立与产品
构能保持对编程语言、中间件平台、产品厂商的中性.可方便地将现有 相关的适配器,而且只需建立一次。
的系统、正在建造的系统以及今后可能建造的系统,在不同的中间件
5结束语
平台上进行集成,提高系统之间互操作、互移植的程度,使系统在不断
变化的软件基础设施面前保持灵活性;同时可延长软件的寿命周期、
本文主要探讨了数据仓库系统实现过程中很重要的一项内容:元
降低维护费用等。模型严格的形式化语义定义还可提高系统的质量,
数据的集成与管理。元数据在数据仓库系统中发挥着重要的作用,基
也有利于提高系统开发的自动化程度。基于模型的元数据集成如图1
于元数据模型的数据仓库集成建立与平台无关的元数据模型。通过平
所示。
罢 书
… 撒
台无关模型与平台相关模型的映射能较好应用新技术、新业务。但如
何定义一个典型CWM元数据交换模式的语法和语义处理CWM中指
定的所有类型的仓库元数据交换,仍是需要进一步研究的地方。l
【参考文献】
[1 J【美]William H.Inmon.数据仓库[M].王志海,等,译.北京:机械工业出版社,2006.
[2][ ̄]Oavid Marco.元数据仓储的构建与管理[M】.张铭,李钦,等,译.北京:机械工
业出版社,2004.
图1 基于元数据模型的数据仓库集成
『31郭颖.企业数据仓库系统关键技术的研究与原型的实现.四川大学硕士学位
论文,2002,4.
这种基于模型的元数据集成方法没有指定实现的体系结构。应用
软件、工具和数据库中的各种内部的元数据表示不需要根据公共元模
型做相应的改变。与产品相关的内部的程序模型可以保持而不需要重
[责任编辑:常鹏飞】
版权声明:本文标题:数据仓库元数据的集成及管理 内容由网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:http://roclinux.cn/p/1714842166a683879.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论