- Rongsen.Com.Cn 版权所有 2008-2010 京ICP备08007000号 京公海网安备11010802026356号 朝阳网安编号:110105199号
- 北京黑客防线网安工作室-黑客防线网安服务器维护基地为您提供专业的
服务器维护
,企业网站维护
,网站维护
服务 - （建议采用1024×768分辨率，以达到最佳视觉效果） Powered by 黑客防线网安 ©2009-2010 www.rongsen.com.cn
Oracle Golden Gate实时数据集成
作者：黑客防线网安Oracle维护基地 来源：黑客防线网安Oracle维护基地 浏览次数：0 |
黑客防线网安网讯： 前几天参加了Oracle Golden Gate实时数据集成研讨会，这里总结和分析一下Oracle的数据集成家族产品。 在数据集成方面，Oracle主要有三大产品：（1）Oracle新收购的Golden Gate，主要...
前几天参加了Oracle Golden Gate实时数据集成研讨会，这里总结和分析一下Oracle的数据集成家族产品。
在数据集成方面，Oracle主要有三大产品：（1）Oracle新收购的Golden Gate，主要强调数据的实时性，号称数据提取最快，对源端开销影响最�。唬�2）Oracle原有的产品ODI（Oracle Data Integrator），用于数据集成的绝大多数场景；（3）Data Quality/Profiling，主要在ETL时保证数据质量和分类的辅助工具。和IBM的相应产品家族相比，几乎一一对应。对于（2）和（3），IBM有收购的DataStage相应产品对应，对于（1）的实时性，IBM有MQ家族中的一个real-time版本对应。微软Microsoft有相应（2）（3）的产品，（1）还没有。
Golden Gate工作原理：在源数据库端（支持各种数据库）提取日志文件以获得变化的发生，如Oralce数据库就是监控Redo Log或Archieve Log，将变化的数据写入一个本地的跟踪文件Trail File（可以想象成一个TXT文件），然后将记录加密、压缩后路由到目的端的跟踪文件Trail File，最后在目标端用SQL写入目标数据库。在目标和源端的跟踪文件都有一个检查点记录最后一个成功的记录位置。说实话，Golden Gate的工作原理很简单，在国内ISV开发的应用中也有用完全类似的方法来实现功能，如银行业的前置机项目和电信的BOSS项目中导程控交换机的话单。
Golden Gate的适用面还是相对窄的，主要是强调实时性的地方，说白了就是ODI不能满足要求的地方，否则客户为什么不使用数据库内置的ODI工具，还非要额外花钱购买Golden Gate呢？Oracle提供的适用场景例子有银行信用卡欺诈检测、网上促销优化、基于位置的服务、SCM的改善等。
Oracle用了很多市场化的溢美之词来给Golden Gate贴金，搞清楚上面的工作原理后也就无需大惊小怪了。事务的可靠性是通过基于日志来提取变化实现的；最快的数据提取是通过近似记录的传递，大大加快了传递的频率来实现的；网络带宽占用小是通过由日志到记录再到压缩的记录来实现的。
Oracle研讨会上不能完全同意的观点：E-LT比ETL好，因为省掉了中间服务器。这完全是偷换概念。Oralce只不过将LT的功能放在目标数据库端的机器上而已。IBM的DataStage或Microsoft的Integration Service都可以，TL还是LT，反正工作量都少不了。
Oracle在会上举了3个例子，分别是BlackBerry的制造者RIM，全球很大的旅游分销者Sabre，以及据说排名美国第二位的网上零售商OverStock。可惜演讲者对于这三家的业务都不熟，不清楚这三家到底将Golden Gate用于什么业务的什么地方，为什么一定要用Golden Gate，所以给人的感觉是说服力不强。后面有一个女的演讲者倒是相对详细地介绍了RIM如何用Golden Gate，不过给我的感觉更像是一个反面案例。
RIM在全球有5个Supply Center，未来还会增加，比如由于和中国电信合作，将会在中国增加一个Supply Center。每个Supply Center要根据全球的需求和其他点的产量来决定自己的生产量，即每个Supply Center的决策者要同时看到其他center的最新数据，所以RIM采用了Golden Gate来将其他点的数据同步到本地，双向需要总共20个同步操作。这种分布式的模式显然和目前数据大集中的主流方向背道而驰，复杂性随Supply Center的增加而大大增加，所以除了RIM是Golden Gate的铁杆Fans外，实在找不出其他理由。为什么不在某个中心点建一个DW数据库，将5个Supply Center的数据都同步到中心点就可以了，这样只需要5个单向的同步操作。
Oracle将Golden Gate定位于两种应用，一是DW中的ETL，另外一种是DR中的数据高可靠性。严格来说，Oracle都有将Golden Gate的应用面扩大之嫌，更多的站在产品已有的功能上来想可以用于哪些方面，并希望说服客户
在数据集成方面，Oracle主要有三大产品：（1）Oracle新收购的Golden Gate，主要强调数据的实时性，号称数据提取最快，对源端开销影响最�。唬�2）Oracle原有的产品ODI（Oracle Data Integrator），用于数据集成的绝大多数场景；（3）Data Quality/Profiling，主要在ETL时保证数据质量和分类的辅助工具。和IBM的相应产品家族相比，几乎一一对应。对于（2）和（3），IBM有收购的DataStage相应产品对应，对于（1）的实时性，IBM有MQ家族中的一个real-time版本对应。微软Microsoft有相应（2）（3）的产品，（1）还没有。
Golden Gate工作原理：在源数据库端（支持各种数据库）提取日志文件以获得变化的发生，如Oralce数据库就是监控Redo Log或Archieve Log，将变化的数据写入一个本地的跟踪文件Trail File（可以想象成一个TXT文件），然后将记录加密、压缩后路由到目的端的跟踪文件Trail File，最后在目标端用SQL写入目标数据库。在目标和源端的跟踪文件都有一个检查点记录最后一个成功的记录位置。说实话，Golden Gate的工作原理很简单，在国内ISV开发的应用中也有用完全类似的方法来实现功能，如银行业的前置机项目和电信的BOSS项目中导程控交换机的话单。
Golden Gate的适用面还是相对窄的，主要是强调实时性的地方，说白了就是ODI不能满足要求的地方，否则客户为什么不使用数据库内置的ODI工具，还非要额外花钱购买Golden Gate呢？Oracle提供的适用场景例子有银行信用卡欺诈检测、网上促销优化、基于位置的服务、SCM的改善等。
Oracle用了很多市场化的溢美之词来给Golden Gate贴金，搞清楚上面的工作原理后也就无需大惊小怪了。事务的可靠性是通过基于日志来提取变化实现的；最快的数据提取是通过近似记录的传递，大大加快了传递的频率来实现的；网络带宽占用小是通过由日志到记录再到压缩的记录来实现的。
Oracle研讨会上不能完全同意的观点：E-LT比ETL好，因为省掉了中间服务器。这完全是偷换概念。Oralce只不过将LT的功能放在目标数据库端的机器上而已。IBM的DataStage或Microsoft的Integration Service都可以，TL还是LT，反正工作量都少不了。
Oracle在会上举了3个例子，分别是BlackBerry的制造者RIM，全球很大的旅游分销者Sabre，以及据说排名美国第二位的网上零售商OverStock。可惜演讲者对于这三家的业务都不熟，不清楚这三家到底将Golden Gate用于什么业务的什么地方，为什么一定要用Golden Gate，所以给人的感觉是说服力不强。后面有一个女的演讲者倒是相对详细地介绍了RIM如何用Golden Gate，不过给我的感觉更像是一个反面案例。
RIM在全球有5个Supply Center，未来还会增加，比如由于和中国电信合作，将会在中国增加一个Supply Center。每个Supply Center要根据全球的需求和其他点的产量来决定自己的生产量，即每个Supply Center的决策者要同时看到其他center的最新数据，所以RIM采用了Golden Gate来将其他点的数据同步到本地，双向需要总共20个同步操作。这种分布式的模式显然和目前数据大集中的主流方向背道而驰，复杂性随Supply Center的增加而大大增加，所以除了RIM是Golden Gate的铁杆Fans外，实在找不出其他理由。为什么不在某个中心点建一个DW数据库，将5个Supply Center的数据都同步到中心点就可以了，这样只需要5个单向的同步操作。
Oracle将Golden Gate定位于两种应用，一是DW中的ETL，另外一种是DR中的数据高可靠性。严格来说，Oracle都有将Golden Gate的应用面扩大之嫌，更多的站在产品已有的功能上来想可以用于哪些方面，并希望说服客户
黑客防线网安服务器维护方案本篇连接：http://www.rongsen.com.cn/show-13020-1.html
新闻栏目
| 我要申请本站：N点 | 黑客防线官网 | |
| 专业服务器维护及网站维护手工安全搭建环境，网站安全加固服务。黑客防线网安服务器维护基地招商进行中！QQ:29769479 |