rman备份失败的处理

 

晚上刚跑步回来，就接到用户电话说备份失败，数据库已经有两天没有备份成功。错误信息如下：

Starting backup at 16-AUG-08

released channel: t1

RMAN-00571: ===========================================================

RMAN-00569: =============== ERROR MESSAGE STACK FOLLOWS ===============

RMAN-00571: ===========================================================

RMAN-03002: failure of backup command at 08/16/2008 22:12:04

RMAN-06004: ORACLE error from recovery catalog database: RMAN-20011: target database incarnation is not current in recovery catalog

配好VPN马上拨上去，检查incarnation，发现两边一致。

crosscheck等命令仍然是报这个错误。

reset database和resync database等所有操作全部都报错。

作出最后决定，重新注册catalog信息。

rman target / catalog rman/XXX@rman;

偿试
unregister database ；

居然发现DB不认这个命令。

晕倒，

赶快登陆至rman数据库。

查到dbid和db_key

使用这以下这个包没有问题。
dbms_rcvcat.unregisterdatabase(db_key,dbid);

rman target / catalog rman/XXX@rman;

register database；

重新注册后数据库备份成功。

处理好之后，才想起来原来之前有作过全库的恢复，并且在直接在rman中使用了resetlogs

打开了DB。这样就会造成target和catalog的不一致。如果在sqlplus中resetlogs是不会

出现此类问题。

 

WARNING:Oracle instance running on a system with low open file descriptor
        limit. Tune your system to increase this limit to avoid

客户的一个生产库在把SGA调至3.4GB并升级至9208时，发现alert中出现以下错误
WARNING:Oracle instance running on a system with low open file descriptor
        limit. Tune your system to increase this limit to avoid

此错误主要由于limits方面的限制，检查os,发现limits.conf未设置以下参数；
vi /etc/security/limits.conf

oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536

加上后问题解决。

因此在安装oracle的时候，一定要仔细的弄清楚每个参数的意义。

这样在troubleshooting的时候才能比较快速进行定位。

 

设置大sort_area_size时发生的ora-00600[925]错误

今天rebuild一个超大的index，在设置手工sort_area_size到达2GB时
触发ora-00600[925]，修改不成功。

SQL> alter session set sort_area_size=2097152000;
ERROR:
ORA-02097: parameter cannot be modified because specified value is invalid
ORA-00600: internal error code, arguments: [925], [hash_area_size], [-100663296], [], [], [], [], []

查询hash_area_size

SQL> show parameter hash_area_size

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
hash_area_size                       integer     1048576

发现为1M,

而sort_area_size的限制是<2*31方，并且不能比hash_area_size大这么多，

考虑到这个因素，我们把hash_area_size改大

SQL> alter session set hash_area_size=10485760;

Session altered.

SQL>  alter session set sort_area_size=2097152000;

Session altered.

SQL> show parameter sort

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
nls_sort                             string
sort_area_retained_size              integer     0
sort_area_size                       integer     2097152000

可以看到设置成功。

其实这个也算是oracle的一个bug了。

见Bug 2205276 and 4011860

升级过程执行catpatch时报04021错误的处理办法

有时候在升级9.2X的时候会发生类似于以下的错误：
create type XMLTypePI OID '0000000000000000000000000002014F' as
*
ERROR at line 1:
ORA-04021: timeout occurred while waiting to lock object SYS.XMLTYPEPI

 

Type created.

grant execute on XMLTypePI to public with grant option
                 *
ERROR at line 1:
ORA-04021: timeout occurred while waiting to lock object SYS.XMLTYPEPI

 

发生这个错误的同时，脚本是在这儿等待很长的时间，v$session_wait中会显示

library cache pin这一等待。发生这个错误的主要原因在于在更新xmldb的时候，

oracle需要一个版本一个版本往上提，如9204->9205->9206，如中间缺少，那么就

出现这种报出错误的情况，解决这个错误的方法就是手工执行xdbpatch脚本。

如：

startup migrate

spool xmlpatch.log
@?/rdbms/admin/xdbpatch
spool off;

然后可以重新跑一遍catpatch执行一次字典的更新，
可以发现该错误被解决。

当然，这个实际上也是一个bug,oracle说在9207中已经fix掉，但实际上在9208上面还会
有这个错误发生。

 

 <WaitEvent:log_file_sequential_read>
 <WaitEvent:log_file_single_write>
 <WaitEvent:log_file_parallel_write>
 <WaitEvent:log_file_space_switch>
  <WaitEvent:log_file_switch_checkpoint_incomplete>
  <WaitEvent:log_file_switch_archiving_needed>
  <WaitEvent:log_file_switch_clearing_log_file>
 <WaitEvent:log_file_switch_switch_logfile_command>
 <WaitEvent:log_file_switch_full_log_file>
 <WaitEvent:log_file_sync>
 <Statistic:redo_entries>
 <Statistic:redo_size>
 <Statistic:redo_entries_linearized>
 <Statistic:redo_buffer_allocation_retries>
 <Statistic:redo_small_copies>
 <Statistic:redo_wastage>
 <Statistic:redo_writer_latching_time>
 <Statistic:redo_writes>
 <Statistic:redo_blocks_written>
 <Statistic:redo_write_time>
 <Statistic:redo_log_space_requests>
 <Statistic:redo_log_space_wait_time>
 <Statistic:redo_log_switch_interrupts>
 <Statistic:redo_ordering_marks>
 <Statistic:background_checkpoints_started>
 <Statistic:background_checkpoints_completed>
 <Parameter:THREAD>
 <Parameter:LOG_BUFFER>
 <Parameter:LOG_IO_SIZE>
 <Parameter:LOG_CHECKPOINT_INTERVAL>
 <Parameter:LOG_CHECKPOINT_TIMEOUT>

ora-00600[2103]错误分析

环境是两台HP 8400, hpux11.11i ,oracle9208 做data guard.

MAXIMUM AVAILABILITY模式下. 今天中午主库出现出现hang住的情况.

查看主库alert日志,
Fri Apr 18 11:00:44 2008
Errors in file /oracle/app/oracle/admin/c3cdb615/bdump/c3cdb615_arc1_29593.trc:
ORA-16099: internal error ORA-00600 occurred at standby database
Fri Apr 18 11:18:49 2008
Errors in file /oracle/app/oracle/admin/c3cdb615/bdump/c3cdb615_arc1_29593.trc:
ORA-16099: internal error ORA-00600 occurred at standby database
Fri Apr 18 11:39:53 2008
Errors in file /oracle/app/oracle/admin/c3cdb615/bdump/c3cdb615_arc1_29593.trc:
ORA-16099: internal error ORA-00600 occurred at standby database
Fri Apr 18 12:00:58 2008
Errors in file /oracle/app/oracle/admin/c3cdb615/bdump/c3cdb615_arc1_29593.trc:
ORA-16099: internal error ORA-00600 occurred at standby database
Fri Apr 18 12:22:03 2008
Errors in file /oracle/app/oracle/admin/c3cdb615/bdump/c3cdb615_arc1_29593.trc:
ORA-16099: internal error ORA-00600 occurred at standby database
Fri Apr 18 12:40:09 2008

备库alert日志:
Fri Apr 18 11:40:05 2008
Errors in file /oracle/app/oracle/admin/c3cdb615/udump/c3cdb615_rfs_25083.trc:
ORA-00600: internal error code, arguments: [2103], [0], [0], [1], [900], [], [], []
Fri Apr 18 11:40:05 2008
Errors in file /oracle/app/oracle/admin/c3cdb615/udump/c3cdb615_rfs_25083.trc:
ORA-00600: internal error code, arguments: [2103], [0], [0], [1], [900], [], [], []
Fri Apr 18 11:46:05 2008
RFS: Possible network disconnect with primary database
Fri Apr 18 12:01:08 2008
Errors in file /oracle/app/oracle/admin/c3cdb615/udump/c3cdb615_rfs_25339.trc:
ORA-00600: internal error code, arguments: [2103], [0], [0], [1], [900], [], [], []
Fri Apr 18 12:01:09 2008
Errors in file /oracle/app/oracle/admin/c3cdb615/udump/c3cdb615_rfs_25339.trc:
ORA-00600: internal error code, arguments: [2103], [0], [0], [1], [900], [], [], []
Fri Apr 18 12:01:09 2008
Errors in file /oracle/app/oracle/admin/c3cdb615/udump/c3cdb615_rfs_25339.trc:
ORA-00600: internal error code, arguments: [2103], [0], [0], [1], [900], [], [], []
Fri Apr 18 12:07:10 2008
RFS: Possible network disconnect with primary database

一眼就看出现主库的rfs这里出了问题,那么我们查看备库IO情况,iostat发现, 每秒为324K,这
个速度明显是极为不正常的.怎么说也是va呀. 使用ioscan,发现已经无法找到盘.这里已经确信为
IO子系统出现了故障.联系硬件工程师,更换存储系统.=

这里我们顺便来看一下,关于ora-00600[2103]的一些处理办法:

其中有一种是会造成instance crash的,如下:
ORA-00600: internal error code, arguments: [2103], [1], [0], [1], [900], [], [], []
   LGWR: Detected ARCH process failure
   LGWR: Detected ARCH process failure
   LGWR: STARTING ARCH PROCESSES

这里是由于bug6520821(unpublished)所引起的错误,主要是在做alter database backup controlfile ...时
所引起的bug, 针对这个bug,oracle目前没有提供opatch,但是10202的patchset修复了这个bug.
因此在9208上遇到这个bug,可以不做alter database backup ....这样的操作,因此要注意你
的备份策略的设置.

第二种情况是:

oracle进程会由于获取CF(controlfile enqueue)时间太长而导致超时造成的.
主要原因有:
由于IO子系统速率过于低下,当然通常这种情况都是由于存储故障所导致,如控制器链路故障
以及接交换机链路出现问题都会导致IO出现问题,这时候
os故障.
AIO多个写进程导致 ,这里可以考虑设置max_io_server和min_io_server至一个合适的值.
日志切换过于频繁,或者日志文件过小以及日志组太少.
使用隐含参数来控制超时时间,如:
_CONTROLFILE_ENQUEUE_TIMEOUT = 10800

当然,可能会有一些情况这里没有一一列出.这里只是作为2103错误的一个参考和解决的思路.

在对于一个表作相关的结构变化后，所依赖她的对象都将失效，
这里包括视图，过程，函数或包处于无效状态，但其定义仍被保存于数据字典内，
相关的权限信息，引用此视图的同义词，对象，及其他视图也 都会被保留。
当重新访问这些对象的时候，oracle会尝试自动编译这些对象。注意，表，序列，和同义词总是处于有效状态的。
Oracle 能够自动地跟踪数据库中发生的特定变化，并在数据字典中记录相关的方案对象的最新状态。
状态记录是一个递归的过程。引用对象的状态变化不仅会导致其直接依赖对象的状态变化，
同时会影响其间接依赖对象的状态。

下面来看一个简单的例子：

 

SQL> alter table test drop column z;

Table altered.

SQL> select status,object_name from user_objects;

 

STATUS
-------
OBJECT_NAME
--------------------------------------------------------------------------------
VALID
TMP_SES

VALID
BIN$SCF8qbynKMfgQAB/AQAMxw==$0

VALID
TEST

STATUS
-------
OBJECT_NAME
--------------------------------------------------------------------------------
INVALID
V_TEST

VALID
I_X

14 rows selected.

SQL> alter session set events '10046 trace name context forever,level 8';

Session altered.

SQL> select * from v_test;

     COUNT
----------
    100000

 

********************************************************************************

ALTER VIEW "TEST"."V_TEST" COMPILE

call     count       cpu    elapsed       disk      query    current        rows
------- ------  -------- ---------- ---------- ---------- ----------  ----------
Parse        1      0.01       0.01          0          0          0           0
Execute      1      0.00       0.01          0          0          0           0
Fetch        0      0.00       0.00          0          0          0           0
------- ------  -------- ---------- ---------- ---------- ----------  ----------
total        2      0.01       0.03          0          0          0           0

Misses in library cache during parse: 1
Optimizer mode: ALL_ROWS
Parsing user id: 56     (recursive depth: 1)
********************************************************************************

前两天一不小心把"显示桌面"的图标给删除掉了,结果这两天电脑用的一直不舒服,特别是打开多个窗口的情况下,是非常不方便的. 经网上各种资料搜集,方法如下:新建一个文本文件:

[Shell]
Command=2
IconFile=explorer.exe,3
[Taskbar]
Command=ToggleDesktop

保存为文件名"Show Desktop.scf"

点击“文件”菜单中的“保存”，将文件保存在以下位置：

C:\Documents and settings\登陆的用户名\Application data\Microsoft\Internet Explore\Quick launch\
注意,这里的"Application data"文件夹为隐含.

这样即可恢复.

添加实例

 

l         在rac3上修改listener.ora

[oracle@rac3 ~]$ vi /u01/oracle/product/9.2/network/admin/listener.ora

# LISTENER.ORA.RAC1 Network Configuration File: /u01/oracle/product/9.2/network/admin/listener.ora.rac1

# Generated by Oracle configuration tools.

 

LISTENER =

  (DESCRIPTION_LIST =

    (DESCRIPTION =

      (ADDRESS_LIST =

        (ADDRESS = (PROTOCOL = TCP)(HOST = rac3)(PORT = 1521))

      )

    )

  )

 

SID_LIST_LISTENER =

  (SID_LIST =

    (SID_DESC =

      (SID_NAME = PLSExtProc)

      (ORACLE_HOME = /u01/oracle/product/9.2)

      (PROGRAM = extproc)

    )

    (SID_DESC =

      (ORACLE_HOME = /u01/oracle/product/9.2)

      (SID_NAME = rac1)

    )

    (SID_DESC =

      (ORACLE_HOME = /u01/oracle/product/9.2)

      (SID_NAME = rac2)

    )

    (SID_DESC =

      (ORACLE_HOME = /u01/oracle/product/9.2)

      (SID_NAME = rac3)

    )

  )

　　注：要加入红色部分，否则

[oracle@rac1 dbs]$ srvctl start instance -d test -i rac3

PRKP-1011 : Failed to get all the listeners associated with instance rac3 on noderac3

l         在rac3上修改tnsnames.ora

加入下面两行

LISTENER_RAC3 =

(ADDRESS = (PROTOCOL = TCP)(HOST = rac3)(PORT = 1521))

 

l         3.5修改初始化参数文件

　在rac3上修改初始化参数文件加入以下内容

rac3.instance_name=RAC3

rac3.instance_number=3

rac3.local_listener=LISTENER_RAC3

rac3.thread=3

rac3.undo_tablespace=UNDOTBS3

 

l         在rac1上设置redo线程

SQL> alter database add logfile thread 3 group 5　('/u01/oracle/oradata/test/redolog3_1') size 10485760 ;

SQL> alter database add logfile thread 3 group 6　('/u01/oracle/oradata/test/redolog3_2') size 10485760 ;

SQL> alter database enable thread 3;

l         在rac1上创建undo 表空间

SQL> create undo tablespace undotbs3 datafile '/u01/oracle/oradata/test/undotbs03' size 40m;

l         添加新的节点并启动服务

[oracle@rac3 ~]$ srvctl add instance -d test -i rac3 -n rac3

[oracle@rac3 ~]$ srvctl start instance -d test -i rac3

注意事项：

在用DBCA添加实例时，在如下界面时不能点下一步，未找到原因，建议用命令方式添加实例。

删除实例

删除实例时，可按如下步骤操作

SQL> drop tablespace undotbs3;

SQL> alter database disable thread 3;

SQL> alter database drop logfile group 6;

SQL> alter database drop logfile group 5;

[oracle@rac3 ~]$ srvctl remove instance -d test -i rac3

如果需要添加多个实例，按如上步骤，逐个添加。

配置Oracle Cluster Manger

 

重新配置已存在的节点

l         修改rac1的Cluster Manger文件

(红色为加入的内容)

[oracle@rac1 admin]$ vi cmcfg.ora

ClusterName=Oracle Cluster Manager, version 9i

MissCount=210

PrivateNodeNames=rac2-priv rac1-priv rac3-priv

PublicNodeNames=rac2 rac1 rac3

ServicePort=9998

CmDiskFile=/dev/raw/raw1

KernelModuleName=hangcheck-timer

HostName=rac1-priv

l         修改rac2的Cluster Manger文件

[oracle@rac2 admin]$ vi cmcfg.ora

ClusterName=Oracle Cluster Manager, version 9i

MissCount=210

PrivateNodeNames=rac2-priv rac1-priv rac3-priv

PublicNodeNames=rac2 rac1 rac3

ServicePort=9998

CmDiskFile=/dev/raw/raw1

KernelModuleName=hangcheck-timer

HostName=rac2-priv

注：上述文件只要修改即可，的第三个节点相关启动时，它会自动重新配置。

3.2配置新节点

l         修改rac3的Cluster Manger文件

ClusterName=Oracle Cluster Manager, version 9i

MissCount=210

PrivateNodeNames=rac2-priv rac1-priv rac3-priv

PublicNodeNames=rac2 rac1 rac3

ServicePort=9998

CmDiskFile=/dev/raw/raw1

KernelModuleName=hangcheck-timer

HostName=rac3-priv

l         在rac3上启动Cluster Manger

[root@rac2 9.2]$ mkdir /var/opt/oracle

[root@rac2 9.2]$ vi /var/opt/oracle/srvConfig.loc

srvconfig_loc=/dev/raw/raw14

[root@rac2 9.2]$ chown -R oracle:dba /var/opt/oracle

[root@rac3 oracle]# chmod -R 755 /var/opt/oracle/srvConfig.loc

[root@rac3 ~]# . /home/oracle/.bash_profile

[root@rac3 ~]# /u01/oracle/product/9.2/oracm/bin/ocmstart.sh

[oracle@rac3 ~]$ ps -ef|grep ora

root      4892     1  0 Mar07 pts/1    00:00:08 oracm

root      4894  4892  0 Mar07 pts/1    00:00:05 oracm

root      4895  4894  0 Mar07 pts/1    00:04:04 oracm

root      4896  4894  0 Mar07 pts/1    00:00:00 oracm

root      4897  4894  0 Mar07 pts/1    00:01:04 oracm

root      4898  4894  0 Mar07 pts/1    00:00:09 oracm

root      4899  4894  0 Mar07 pts/1    00:00:08 oracm

root      4900  4894  0 Mar07 pts/1    00:01:03 oracm

root      4901  4894  0 Mar07 pts/1    00:00:30 oracm

root      4952  4894  0 Mar07 pts/1    00:00:00 oracm

root      4994  4894  0 Mar07 pts/1    00:00:05 oracm

root      6467  4894  0 01:09 pts/1    00:00:52 oracm

检查ocm日志

[oracle@rac2 log]$　tail –f /u01/oracle/product/9.2/oracm/log/cm.log

HandleUpdate(): SYNC(6) from node(0) completed {Mon Mar  3 18:12:28 2008 }^M

HandleUpdate(): NODE(0) IS ACTIVE MEMBER OF CLUSTER, INCARNATION(4) {Mon Mar  3 18:12:28 2008 }^M

HandleUpdate(): NODE(1) IS ACTIVE MEMBER OF CLUSTER, INCARNATION(6) {Mon Mar  3 18:12:28 2008 }^M

HandleUpdate(): NODE(2) IS ACTIVE MEMBER OF CLUSTER, INCARNATION(7) {Mon Mar  3 18:12:28 2008 }^M

NMEVENT_RECONFIG [00][00][00][00][00][00][00][07] {Mon Mar  3 18:12:28 2008 }^M

Debug Hang : CMNodeListener(PID=15316) Registered with ORACM. {Mon Mar  3 18:12:28 2008 }^M

<11557:7152><58441:2567>Debug Hang : CMNodeListener(PID=15317) Registered with ORACM. {Mon Mar  3 18:12:29 2008 }^M

Successful reconfiguration,  3 active node(s) node 0 is the master, my node num is 0 (reconfig 7) {Mon Mar  3 18:12:29 2008 }^M

 

   这时可以启动gsd服务

[oracle@rac3 ~]$ gsdctl start

[oracle@rac3 ~]$ ps -ef|grep gsd

 

 确认网络及心跳都设置正确

[root@rac3 ~]# ping rac1

[root@rac3 ~]# ping rac2

[root@rac3 ~]# ping rac1-priv

[root@rac3 ~]# ping rac2-priv

[root@rac3 ~]# rlogin rac1

[root@rac3 ~]# rlogin rac2

[root@rac3 ~]# rlogin rac1-priv

[root@rac3 ~]# rlogin rac1-priv

l         Oracle软件相关配置

在操作系统装好以后，需要启动rsh、rlogin、rexec服务，打上安装ORACLE需要的补丁，修改内核参数，并正确定设置环境变量，目录要求和其它节点一样。

export LD_ASSUME_KERNEL=2.4.1

export ORACLE_BASE=/u01/oracle

export ORACLE_HOME=/u01/oracle/product/9.2

export PATH=$ORACLE_HOME/bin:$ORACLE_HOME/Apache/Apache/bin:$PATH

export ORACLE_OWNER=oracle

export ORACLE_SID=rac3

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH

 

export DISPLAY=192.168.88.10:0.0;

export DBCA_RAW_CONFIG=/home/oracle/filename

   复制rac2点的软件目录至rac3

[oracle@rac3 ~]$ cd /u01/oracle/product/9.2/

[oracle@rac3 9.2]$ rcp -rp rac1:/u01/oracle/product/9.2/* .

[oracle@rac3 9.2]$ cd /u01/oracle/product/9.2/oracm/admin/

l         识别共享磁盘

在rac3上识别共享磁盘并挂载裸设备。

raw /dev/raw/raw1 /dev/sdc1

raw /dev/raw/raw2 /dev/sdc2

raw /dev/raw/raw3 /dev/sdc3

raw /dev/raw/raw4 /dev/sdc5

raw /dev/raw/raw5 /dev/sdc6

raw /dev/raw/raw6 /dev/sdc7

raw /dev/raw/raw7 /dev/sdc8

raw /dev/raw/raw8 /dev/sdc9

raw /dev/raw/raw9 /dev/sdc10

raw /dev/raw/raw10 /dev/sdc11

raw /dev/raw/raw11 /dev/sdc12

raw /dev/raw/raw12 /dev/sdc13

raw /dev/raw/raw13 /dev/sdc14

raw /dev/raw/raw14 /dev/sdc15

 

raw /dev/raw/raw15 /dev/sdd1

raw /dev/raw/raw16 /dev/sdd2

raw /dev/raw/raw17 /dev/sdd3

raw /dev/raw/raw18 /dev/sdd5

raw /dev/raw/raw19 /dev/sdd6

raw /dev/raw/raw20 /dev/sdd7

raw /dev/raw/raw21 /dev/sdd8

raw /dev/raw/raw22 /dev/sdd9

raw /dev/raw/raw23 /dev/sdd10

raw /dev/raw/raw24 /dev/sdd11

raw /dev/raw/raw25 /dev/sdd12

 

for i in `seq 1 25`

do

    chmod 660 /dev/raw/raw$i

    chown oracle.dba /dev/raw/raw$i

done

本文档介绍了9.2RAC数据库如何动态加入第三个节点。

操作系统：Linux 2.6.9-34.EL CST 2006 i686 i686 i386 GNU/Linux

数据库：　Oracle9i Enterprise Edition Release 9.2.0.8.0

ORACLE_BASE=/u01/oracle

ORACLE_HOME=/u01/oracle/product/9.2

 

 

主机名	网卡	IP地址
rac1	ifcfg-eth0	192.168.88.240
	ifcfg-eth0:0	172.30.1.240
rac2	ifcfg-eth0	192.168.88.241
	ifcfg-eth0:0	172.30.1.241
rac3	ifcfg-eth0	192.168.88.243
	ifcfg-eth0:0	172.30.1.243

 

分区	裸设备文件	用途
/dev/sdc1	/dev/raw/raw1	Cluster Manager Quorum
/dev/sdc2	/dev/raw/raw2	Undo tbs1
/dev/sdc3	/dev/raw/raw3	Undo tbs2
/dev/sdc5	/dev/raw/raw4	System
/dev/sdc6	/dev/raw/raw5	spfile
/dev/sdc7	/dev/raw/raw6	temp
/dev/sdc8	/dev/raw/raw7	users