GoldenGate快速入门培训视频

以下是《Oracle GoldenGate Quick Start Training》培训前六集。

此系列视频来自于我们的合作网站播布客,由著名的小布老师主讲。

(完)

GoldenGate Director安装

安装前准备

安装介质下载参考《GoldenGate产品安装》,本次安装使用的是gg-director-serversetup_win_v2_0_0_3_007.exe,安装环境是Windows XPSP3。

安装步骤

1. 选择安装目录

director1

 

2. 选择MW_HOME(即:BEA_HOME)

这里需要注意,提示是“WebLogic Location”,其实应该是Fusion Middle Home(即:BEA WebLogic Server时代的BEA_HOME),参见:《Oracle Fusion Middleware相关概念明晰》。

director2

3. 选择端口,即用于运行GoldenGate Director的WebLogic Server域的管理服务器端口

director3

4. 选择用于存放GoldenGate Director元数据的数据库,这里我选择Oracle

director4

5. 输入数据库相关信息

director5

6. 用于访问元数据库的用户

我创建了一个普通用户“director”,并赋予了“connect“和“resource”权限,这里需要注意,用户密码必须是至少8个字符,这是GoldenGate Director的要求。

director6

7. 安装完毕

安装后调整

客观来讲,这个软件制作的相当不讲究,安装完后根本不能使用,需要做以下调整:

1. 修改startWebLogic.cmd文件

此文件位于<installation>/domain/bin/目录下,找到:

-Dlog4j.configuration=file:///Code/ThirdParty/bea/user_projects/domains/ggDomain/bin/log4j.properties

将其改为:

-Dlog4j.configuration=file:///<installation>/domain/bin/log4j.properties

注:<installation>代表GoldenGate Director安装目录

2. 更改GoldenGate Director应用包位置(可选,个人觉得这样组织系统更加合理)

安装完成后默认GoldenGate Director应用包位置是在%MW_HOME%\user_projects\applications\ggDomain\gdsc-server.ear,将其移至<installation>\application\gdsc-server.ear。

修改<installation>\domain\config\config.xml,根据上步修改部署包安装位置:

 
    gdsc-server
    localhost
    ear
    d:\oracle\director\application\gdsc-server.ear
    Advanced
    stage
 

测试安装

1. 在程序组中点击“Start Oracle GoldenGate Director”,看到如下提示服务器启动成功。

director7

2. 通过浏览器访问

地址:http://localhost:9001/acon (端口安装第3步指定),用户名/密码:admin/admin

director8

3. 安装客户端程序

下载客户端介质:http://localhost:9001/

director9

安装过程略

4. 通过客户端访问

进入程序组点击:“Oracle GDSC Admin Tool”,配置GoldenGate管理进程信息

登录信息:

  • User Name:admin
  • Password:admin
  • Server:localhost:9001

director10

5. 启动客户端程序

进入程序组,点击“Oracle GoldenGate-Director”,登录信息同上。界面如下:

director11

补:WebLogic Server管理员用户名/密码:weblogic/weblogic

大功告成!

GoldenGate初始加载实验

应用场景

初始加载(Initial Load)一般用在数据的初始化加载。也就是说将源库中已有的数据先批量导入到目标数据库,然后再通过其它方式同步源库的变化。

实验环境

  • 操作系统:Windows
  • GoldenGate版本:10.4.0.19 Build 002
  • 数据库版本:Oracle 10.2.0.4
  • 目标:将源表中的数据导入到目标表
源表目标表
HR.TBL_SRCHR.TBL_INIT

实验步骤

源端相关配置

1. 配置管理进程

GGSCI>EDIT PARAMS MGR

此时会弹出一个编辑器,在新创建的文件中加入端口定义(避免冲突)如:

PORT 9087

GGSCI>START MGR

GGSCI>INFO MGR

当进程管理器正常启动后,会创建一个GoldenGate事件日志名为ggserr.log(在GoldenGate安装目录)。查看此日志文件可以通过以下命令:

GGSCI>VIEW GGSEVT

2. 为源表添加Supplemental Logging

GGSCI>DBLOGIN userid <username>, PASSWORD <password>

GGSCI>ADD TRANDATA HR.TBL_SRC

GGSCI>INFO TRANDATA HR.TBL_SRC

Logging of supplemental redo log data is enabled for table HR.TBL_SRC

3. 添加Capture

GGSCI>ADD EXTRACT EINIGN, SOURCEISTABLE

查看结果:

GGSCI>INFO EXTRACT *, TASKS

4. 配置Capture参数文件

GGSCI>EDIT PARAMS EINIGN

EXTRACT EINIGN

USERID <username>, PASSWORD <password>

RMTHOST localhost, MGRPORT 9087 –目标服务器上的进程管理器IP地址与端口

RMTTASK REPLICAT, GROUP RINIGN

TABLE HR.TBL_SRC

目标端相关配置

1. 配置管理进程

同源端配置相同

2. 配置Delivery

GGSCI>ADD REPLICAT RININI, SPECIALRUN

GGSCI>INFO REPLICAT *, TASKS –查看结果

3. 配置Delivery参数文件

GGSCI>EDIT PARAMS RININI

REPLICAT RININI

ASSUMETARGETDEFS

USERID <username>, PASSWORD <password>

DISCARDFILE ./dirrpt/RININI.dsc, PURGE

MAP HR.TBL_SRC, TARGET HR.TBL_INIT;

启动服务

源端:

GGSCI>START EXTRACT EINIGN

GGSCI>VIEW REPORT EINIGN –查看报告

目标端:

GGSCI>VIEW REPORT RININI

GoldenGate产品安装

产品下载

Oracle OTN网站上只提供64位的产品介质下载,如果想使用32位的产品介质要到Oracle E-Delivery下载,下载网址如下:

Linux环境

1. 解压缩介质

Shell>tar –xvof <filename>.tar

2. 创建文件夹

Shell>cd <install location>

Shell>ggsci

GGSCI>CREATE SUBDIRS

注:GGSCI是GoldenGate Command Interface的缩写,即GoldenGate命令行环境,我们与GoldenGate的交互都是通过它来完成。另外,需要注意的是执行ggsci命令时,一定要在GoldenGate的安装目录内。我们可以通过以下命令查看帮助:GGSCI>HELP或GGSCI>HELP ALL。

安装完毕,是不是很简单。:)

Windows环境

相对于Linux环境,Windows环境安的安装相对复杂。

1. 安装VC++环境

由于Windows默认没有C或C++编译器,所以需要提前安装,不然使用时会报错,当然,版本上尽量新吧,这部分我没有具体试,因为公司给的Windows环境已经安装好了。

2. 解压缩介质

压缩包为.zip,将其解到任一目录,例如:c:\ggs

3. 安装服务

c:\ggs>INSTALL ADDSERVICE ADDEVENTS

  • ADDSERVICE:将GoldenGate Manager进程注册为Windows服务
  • ADDEVENTS:是将GoldenGate事件进行注册使其可以显示在Windows Event Log。
  • 注:相应的反操作是:DELETESERVICE、DELETEEVENTS

4. 创建文件夹

c:\ggs>ggsci

GGSCI>CREATE SUBDIRS

安装完毕!

目录说明

安装时,我们通过GGSCI>CREATE SUBDIRS命令在GoldenGate安装目录下创建了很多子目录,这些子目录的用途如下:

  • dirchk:存放检查点(Checkpoint)文件
  • dirdat:存放Trail与Extract文件,以后详述
  • dirdef:通过DEFGEN工具生成的源或目标的数据定义文件
  • dirpcs:存放进程状态文件
  • dirprm:存放参数文件
  • dirrpt:存放进程报告文件
  • dirsql:存放SQL脚本文件
  • dirtmp:当事务所需要的内存超过已分配内存时,缺省存储于此。

Oracle Fusion Middleware相关概念明晰

Oracle Fusion Middleware定义

什么是Oracle Fusion Middleware

Oracle Fusion Middleware is a comprehensive family of products ranging from application development tools and integration solutions to identity management, collaboration, and business intelligence reporting.

Oracle Fusion Middleware is a collection of standards-based software products that spans a range of tools and services: from Java EE and developer tools, to integration services, business intelligence, and collaboration. Oracle Fusion Middleware offers complete support for development, deployment, and management.

以上是Oracle的官方定义,从定义可以看出以下几点:

  • Oracle将Oracle Fusion Middleware定义为一个产品大家族
  • Oracle Fusion Middleware中涵盖的软件产品是基于标准的
  • 从不水平角度来看,其涵盖了开发工具、整合方案、身份管理、协作、甚至是商业智能各领域的软件产品
  • 从垂直角度来看,其提供了对开发、部署、管理的完整支持

Oracle Fusion Middleware中包含哪些组件

  • Oracle WebLogic Server:企业级Java应用服务器
  • Oracle SOA Suite:用于实现SOA的一系列软件
  • Oracle WebCenter:用于实现E2.0的一系列软件,也是Oracle现在主流的门户产品
  • Oracle HTTP Server:Web服务器
  • Oracle Web Cache:Web缓存服务
  • Oracle Identity Management:身份管理
  • Oracle Internet Directory:LDAP目录服务
  • Oracle Virtual Directory:虚拟目录服务(也就在异质的目录服务前端建立虚拟)
  • Oracle Identity Federation:联邦身份认证
  • Oracle Web Services Manager:Web Service安全
  • Oracle Platform Security:安全基础平台,这并不是一个产品,而是WebLogic Server安全框架与ADF安全的融合体
  • Oracle Portal:Oracle:Oracle以前的门户产品,现在主要服务于E-Business套件
  • Oracle Business Intelligence:商务智能,即:BI

Oracle Fusion Middleware组件分类

Oracle Fusion Middleware提供两类组件:Java组件与系统组件

Java组件(Java Components)

which is an Oracle Fusion Middleware component that is deployed as one or more Java EE applications and a set of resources. Java components are deployed to an Oracle WebLogic Server domain as part of a domain template. Examples of Java components are the Oracle SOA Suite and Oracle WebCenter components.

从定义中可以看出被归为Java组件的软件产品的显著特点是以WebLogic Server域模板的形式被部署到WebLogic Server之上。

系统组件(System Components)

which is a manageable process that is not deployed as a Java application. Instead, a system component is managed by the Oracle Process Manager and Notification (OPMN).

从定义看出可以看出被归为系统组件的软件产品的显著特点是不可以被当作Java应用部署,并且被OPMN管理.

Oracle Fusion Middleware目录结构

什么是Oracle WebLogic Domain

Oracle WebLogic Domain是逻辑管理单元,基中包含一个管理服务器(Administration Server)及零个或多个被管理服务器(Managed Servers)。管理服务器与被管理服务器可以分布在不同的物理服务器上(可以不同CPU或操作系统)。多个被管理服务器可以被划分为一个集群。Web应用、EJB、WebServices等Java组件可以部署到管理服务器或被管理服务器或服务器集群中。

什么Oracle Instance

每个Oracle Instance包含一个或多个系统组件,例如:Oracle WebCache,Oracle Cache,Oracle HTTP Server或 Oracle Internet Directory。 一个Oracle Instance中的系统组件必须位于同一台物理机器。一个Oracle Instance目录包含:可更新文件,如:配置文件、日志文件或临时文件。

每个Oracle Instance与一个 Oracle WebLogic Server domain相配对。通常Oracle Instance目录可位于任何目录,但一般不位于Oracle Home目录内。

什么是Middleware Home

Middleware Home是一个容器,其中包含WebLogic Server Home,可选包括一个Oracle Common Home与一个或多个Orache Homes,其实Middleware Home就是过去的BEA Home

什么是WebLogic Server Home

WebLogic Server Home包含WebLogic Server所必需的安装文件,WebLogic Server Home目录与Oracle Home目录是对等的,并且都位于Middleware Home。

什么是Oracle Home与Oracle Common Home

每个Orache Home包含组件或软件套件。例如:SOA Oracle Home是Oracle SOA Suite的安装目录。每个Oracle Home关联一个或多个Oracle 实例或Oracle WebLogic Server域。

每个Fusion Middleware Home只能包含一个Oracle Common Home,其中包含Oracle Enterprise Manager Fusion Middleware Control所需的二进制文件与类库和Java Required Files (JRF)