不同平台异步I/O的使用(By Prada_gu)
上一篇 / 下一篇 2007-12-19 00:00:00 / 个人分类：Oracle
itpub原贴地址http://www.itpub.net/226478.html
[整理]不同平台异步I/O的使用
[整理]不同平台异步I/O的使用
一般说来,异步I/O是和同步I/O相比较来说的,如果是同步I/O,当一个I/O操作执行时,应用程序必须等待,直到此I/O执行完. 相反,异步I/O操作
在后台运行,I/O操作和应用程序可以同时运行,提高了系统性能; 使用异步I/O会提高I/O流量,如果应用是对裸设备进行操作,这种优势更加明显
, 因此象数据库,文件服务器等应用往往会利用异步I/O,使得多个I/O操作同时执行.
ibm aix
1 文件集的安装
要在aix平台上使用异步I/O特征,系统必须安装有文件集bos.rte.aio,可以通过如下命令检查之:
lslpp -l bos.rte.aio
然后再通过smitty(smit)使得异步I/O可用
#smit chgaio
STATE to be configured at system restart available
2 如何确定是否需要使用异步I/O
a. 使用VMSTAT命令查看列wa,如何其值超过25%,则使用;
b. 使用命令iostat * * ,如果%tm_act超过35%,则使用;
值得注意的是,在SMP系统中,vmstat的值us,id,wa列是所有处理器之间的平均值,但是每个处理器的i/o等待值却不是平均值,而是一个全局的统
计数值,
3 当前aio服务器的数目
pstat -a | grep aios | wc -l
4 如何设置aio 服务器
一般有三个规则可以用来决定因素aio的数目
a 限定MAXIMUM等于十倍的当前使用的物理磁盘数,MINIMUM等于一半的MAXIMUM数;
b 设置MAXIMUM为80,MINIMUM为默认值1,监控系统正常的负荷情况,过一段时间后,再进行调整如下:
MAXIMUM=当前运行的aio数+10
MINIMUM=当前运行的aio数-10
c 在最高I/O活动开始之前,使用vmstat -s看结果中的iodones,隔一时间段再执行,查看二次iodones之差值,便可以知道在这个时间段内有多少
个物理I/O发生了,如果便可以考虑增加MAXIMUM数再进行观察调整
5 异步I/O的几个参数
可以使用chdev或是smit来修改有关AIO的参数,主要考虑如下几个
MINIMUM number of servers :指定分配给异步I/O进程的最少内核进程数,
MAXIMUM number of servers :指定分配给异步I/O进程的最大内核进程数
Maximum number of REQUESTS :指定能同一时间分配的最大数目的异步I/O请求数,它包括进程中的请求,也包括等待中的请求数,最大数不能小
于MAXIMUM number of servers,它定义在/usr/include/sys/limits.h中,
Server PRIORITY:指定分析给异步I/O进程的优先级,建议用默认值39
STATE to be configured at system
restart:指定系统初始化时,异步I/O进程的状态,可能值是1)defined(处于定义状态且不可用),2)available(可用)
STATE of FastPath:如果选择disable,则表明强迫所有的I/O活动都通过异步内核进程,默认是enable
6 此平台上的数据库,如oracle中使用异步i/o,则需要设置参数disk_asynch_io = TRUE就可以了
hp(hp11.0 or more)
1、Hp-ux使用Aio的补丁要求
b、HP-UX 11i的补丁要求为：
PHKL_30621 vm preemption point, mlock/async_io
PHKL_25506 asyncio driver patch
使用swlist -l product检查
2、创建aio的字符设备
a、建立aio字符设备
#/sbin/mknod /dev/async c 101 0x0
b、调整设备的属主,这个例中假定用户为oracle,组为dba
#chown oracle:dba /dev/async
c、调整设备的权限位
#chmod 660 /dev/async
3、Hp-ux要要调整的内核参数
调整内核参数据需要使用root用户
a、把asyncdsk置为in
sam-> Kernel Configuration -> Drivers->asyncdsk调整为in
b、调整max_async_ports参数
这个参数限定的是同时使用/dev/async设备的最大进程数,对于Oracle这个参数应大于等于init<sid>.ora中的processes+后台的进程数,当max_
async_ports的值达到时,其余的进程将采用同步IO的方式。
c、调整set aio_max_ops参数
这个参数所限定的是在任意一个时间点排队的Aio操作的最大的数目,一般保持默认值就可以,可以用glance监测一下。
d、调整fs_async参数
这个参数表明的是对文件系统的写是否采用Aio的方式,设定fs_async=0指定对于文件系统写不用Aio,设定fs_async=1则指定使用aio的方式,Ora
cle不建议将这个什设置为1
4、其它方面设置
值得注意的是要为oracle用户的组(一般为dba)设定MLOCK的权限,否则在数据库启动会报错或在库运行时会出现莫名其妙的数据库hang的现象,
具体说明如下
a、有二个命令getprivgrp(检查),setprivgrp(设置)
eg1:检查dba组是否有MLOCK的权限
root#getprivgrp dba
eg2:设定dba组的MLOCK的权限
roolt#setprivgrp dba MLOCK
b、也可以把设定加入配置文件中,这样在下次启动时就自动生效了。
在/etc/privgroup中加入如下的一行：
dba MLOCK
如果privgroup不存在,可以编辑一个。
5 8i 及以后的版本 :在init<sid>.ora中设定disk_asynch_io = TRUE
6 检查一下aio是否生效了
#fuser /dev/async
有进程列出来说明aio已经生效了。
7 在hp11.0上使用异步I/O时可能还有些问题,会出现一些ora-01578的错误,但是hp11i后应没有问题
在后台运行,I/O操作和应用程序可以同时运行,提高了系统性能; 使用异步I/O会提高I/O流量,如果应用是对裸设备进行操作,这种优势更加明显
, 因此象数据库,文件服务器等应用往往会利用异步I/O,使得多个I/O操作同时执行.
ibm aix
1 文件集的安装
要在aix平台上使用异步I/O特征,系统必须安装有文件集bos.rte.aio,可以通过如下命令检查之:
lslpp -l bos.rte.aio
然后再通过smitty(smit)使得异步I/O可用
#smit chgaio
STATE to be configured at system restart available
2 如何确定是否需要使用异步I/O
a. 使用VMSTAT命令查看列wa,如何其值超过25%,则使用;
b. 使用命令iostat * * ,如果%tm_act超过35%,则使用;
值得注意的是,在SMP系统中,vmstat的值us,id,wa列是所有处理器之间的平均值,但是每个处理器的i/o等待值却不是平均值,而是一个全局的统
计数值,
3 当前aio服务器的数目
pstat -a | grep aios | wc -l
4 如何设置aio 服务器
一般有三个规则可以用来决定因素aio的数目
a 限定MAXIMUM等于十倍的当前使用的物理磁盘数,MINIMUM等于一半的MAXIMUM数;
b 设置MAXIMUM为80,MINIMUM为默认值1,监控系统正常的负荷情况,过一段时间后,再进行调整如下:
MAXIMUM=当前运行的aio数+10
MINIMUM=当前运行的aio数-10
c 在最高I/O活动开始之前,使用vmstat -s看结果中的iodones,隔一时间段再执行,查看二次iodones之差值,便可以知道在这个时间段内有多少
个物理I/O发生了,如果便可以考虑增加MAXIMUM数再进行观察调整
5 异步I/O的几个参数
可以使用chdev或是smit来修改有关AIO的参数,主要考虑如下几个
MINIMUM number of servers :指定分配给异步I/O进程的最少内核进程数,
MAXIMUM number of servers :指定分配给异步I/O进程的最大内核进程数
Maximum number of REQUESTS :指定能同一时间分配的最大数目的异步I/O请求数,它包括进程中的请求,也包括等待中的请求数,最大数不能小
于MAXIMUM number of servers,它定义在/usr/include/sys/limits.h中,
Server PRIORITY:指定分析给异步I/O进程的优先级,建议用默认值39
STATE to be configured at system
restart:指定系统初始化时,异步I/O进程的状态,可能值是1)defined(处于定义状态且不可用),2)available(可用)
STATE of FastPath:如果选择disable,则表明强迫所有的I/O活动都通过异步内核进程,默认是enable
6 此平台上的数据库,如oracle中使用异步i/o,则需要设置参数disk_asynch_io = TRUE就可以了
hp(hp11.0 or more)
1、Hp-ux使用Aio的补丁要求
b、HP-UX 11i的补丁要求为：
PHKL_30621 vm preemption point, mlock/async_io
PHKL_25506 asyncio driver patch
使用swlist -l product检查
2、创建aio的字符设备
a、建立aio字符设备
#/sbin/mknod /dev/async c 101 0x0
b、调整设备的属主,这个例中假定用户为oracle,组为dba
#chown oracle:dba /dev/async
c、调整设备的权限位
#chmod 660 /dev/async
3、Hp-ux要要调整的内核参数
调整内核参数据需要使用root用户
a、把asyncdsk置为in
sam-> Kernel Configuration -> Drivers->asyncdsk调整为in
b、调整max_async_ports参数
这个参数限定的是同时使用/dev/async设备的最大进程数,对于Oracle这个参数应大于等于init<sid>.ora中的processes+后台的进程数,当max_
async_ports的值达到时,其余的进程将采用同步IO的方式。
c、调整set aio_max_ops参数
这个参数所限定的是在任意一个时间点排队的Aio操作的最大的数目,一般保持默认值就可以,可以用glance监测一下。
d、调整fs_async参数
这个参数表明的是对文件系统的写是否采用Aio的方式,设定fs_async=0指定对于文件系统写不用Aio,设定fs_async=1则指定使用aio的方式,Ora
cle不建议将这个什设置为1
4、其它方面设置
值得注意的是要为oracle用户的组(一般为dba)设定MLOCK的权限,否则在数据库启动会报错或在库运行时会出现莫名其妙的数据库hang的现象,
具体说明如下
a、有二个命令getprivgrp(检查),setprivgrp(设置)
eg1:检查dba组是否有MLOCK的权限
root#getprivgrp dba
eg2:设定dba组的MLOCK的权限
roolt#setprivgrp dba MLOCK
b、也可以把设定加入配置文件中,这样在下次启动时就自动生效了。
在/etc/privgroup中加入如下的一行：
dba MLOCK
如果privgroup不存在,可以编辑一个。
5 8i 及以后的版本 :在init<sid>.ora中设定disk_asynch_io = TRUE
6 检查一下aio是否生效了
#fuser /dev/async
有进程列出来说明aio已经生效了。
7 在hp11.0上使用异步I/O时可能还有些问题,会出现一些ora-01578的错误,但是hp11i后应没有问题
linux
1. 支持的系统平台
当前只在linux advanced server(2&3)下支持,普通linux内核2.5以上将支持
2. 在此平台下,只支持oracle 9201版本(且须升级至9204,主要是因为有bug:3016968)
3. 如何在系统级支持异步I/O
set aio-max-size with:
echo >/proc/sys/fs/aio-max-size 512000 (在有的平台上,应小于524288)
4. 在数据库级启用异步I/O
1) cd to $ORACLE_HOME/rdbms/lib
a) make -f ins_rdbms.mk async_on
b) make -f ins_rdbms.mk ioracle
2a) Parameter settings in init.ora for raw devices:
set 'disk_asynch_io=true' (default value is true)
2b) Parameter settings in init.ora file for filesystem files:
确信ORACLE数据文件位于支持异步I/O的文件系统上,如ext2,ext3,raw等
a) set 'disk_asynch_io=true' (default value is true)
b) set 'filesystemio_options=asynch'
Async I/O works on Oracle Cluster File SystemOCFS 1.0.9-4 and higher for RedHat kernel e.24 and higher but not supported yet
5. 在对oracle10g启用异步I/O时,所需另外的包
1) In RHEL 2.1
Requires libaio packages.
libaio-0.3.13-3.i386.rpm
libaio-devel-0.3.13-3.i386.rpm
默认的,ORACLE10g并没有启用异步I/O,所以要重新编译ORACLE内核以支持异步I/O
make PL_ORALIBS=-laio -f ins_rdbms.mk async_on
In init.ora file add following option.
for raw devices
disk_asynch_io=true (this is default option)
for file system
filesystemio_options =asynch
disk_asynch_io=true (this is default option)
2) In RHEL 3
要求安装的包
libaio-0.3.96-3.i386.rpm
libaio-devel-0.3.96-3.i386.rpm
其中包libaio-devel-0.3.xx-3.i386.rpm提供了如下三个动态库文件
/usr/lib/libaio
/usr/lib/libaio.so.1
/lib/libredhat-kernel.so.1
6. 如何禁用异步I/O
1) cd to $ORACLE_HOME/rdbms/lib
a) make -f ins_rdbms.mk async_off
b) make -f ins_rdbms.mk ioracle
2) set 'disk_asynch_io=false' (default value is true)
7. 如何检查异步I/O是否在使用
1)cat /proc/slabinfo |grep kio
2)cat /proc/slabinfo |grep kio
kioctx 270 270 128 9 9 1 : 252 126
kiocb 66080 66080 96 1652 1652 1 : 252 126
kiobuf 236 236 64 4 4 1 : 252 126
3) cat /proc/slabinfo |grep kio
kioctx 0 0 128 0 0 1 : 252 126
kiocb 0 0 96 0 0 1 : 252 126
kiobuf 0 0 64 0 0 1 : 252 126
8. 相关的bug
在Red Hat AS 2.1(3)上启用异步I/O有bug,如bug3016968,bug3438751,所以最好升级数据库到最新版本,如9205
tru64
1. 说明
在tru64系统下,主要有二种读写方式:异步I/O(AIO),direct i/o(DIO)
2. 异步I/O
AIO主要是指允许进程不用等待现有I/O的完成而继续进行,AIO只用于裸设备,AIO是一个标准的tru64特征,Oracle Server does not use
Digital UNIX AIO by default. To use Digital UNIX AIO, set the parameter ASYNC_WRITE = 1 in the "init<sid>.ora" file.
NOTE: Oracle recommends you set the parameter DB_WRITERS = 1
when you set the parameter ASYNC_WRITE = 1.
3. direct i/o
DIO则指在读写操作时,不必在系统级缓存它们,这是一个系统级的能力,DIO则用于advfs/cfs,
如果我们在ORACLE中混合使用了裸设备和文件系统,则ORACLE将使用异步I/O来操作其使用的裸设备,使用DIO来操作其使用的文件系统,同时仍需
注意在初使化参数各增加参数DISK_ASYNCH_IO=TRUE;
4.支持的版本
DIO在系统TRU645.0a以上,自动支持,且系统默认的为DIO,而不是异步I/O,
DIO仅在一定的数据库版本下支持,如下:
- Oracle 9.2.0
- Oracle 8.1.7
- Oracle 8.1.6.3
- Oracle 8.1.6.2 with patch 1527141
- Oracle 8.0.6.2 with patch 1523186
- Oracle 7.3.4.5 with patch 1523179
5.存在的情况
在tru64的v5.1及v5.0a下,存在对direct i/o的bug,在打如下的eco补下包:QAR84601_v51_bl2.tar.Z(v5.1,要求Patch Kit
1),QAR84601_v51_bl3.tar.Z(v5.1,要求Patch Kit 2 (BL3)),QAR84601_v50a_bl16.tar.Z(v5.0a,要求Patch Kit 2 (BL16) ),当然最好把系统
的补丁包打到4以上
win
在win平台,是不支持异步I/O的了
1. 支持的系统平台
当前只在linux advanced server(2&3)下支持,普通linux内核2.5以上将支持
2. 在此平台下,只支持oracle 9201版本(且须升级至9204,主要是因为有bug:3016968)
3. 如何在系统级支持异步I/O
set aio-max-size with:
echo >/proc/sys/fs/aio-max-size 512000 (在有的平台上,应小于524288)
4. 在数据库级启用异步I/O
1) cd to $ORACLE_HOME/rdbms/lib
a) make -f ins_rdbms.mk async_on
b) make -f ins_rdbms.mk ioracle
2a) Parameter settings in init.ora for raw devices:
set 'disk_asynch_io=true' (default value is true)
2b) Parameter settings in init.ora file for filesystem files:
确信ORACLE数据文件位于支持异步I/O的文件系统上,如ext2,ext3,raw等
a) set 'disk_asynch_io=true' (default value is true)
b) set 'filesystemio_options=asynch'
Async I/O works on Oracle Cluster File SystemOCFS 1.0.9-4 and higher for RedHat kernel e.24 and higher but not supported yet
5. 在对oracle10g启用异步I/O时,所需另外的包
1) In RHEL 2.1
Requires libaio packages.
libaio-0.3.13-3.i386.rpm
libaio-devel-0.3.13-3.i386.rpm
默认的,ORACLE10g并没有启用异步I/O,所以要重新编译ORACLE内核以支持异步I/O
make PL_ORALIBS=-laio -f ins_rdbms.mk async_on
In init.ora file add following option.
for raw devices
disk_asynch_io=true (this is default option)
for file system
filesystemio_options =asynch
disk_asynch_io=true (this is default option)
2) In RHEL 3
要求安装的包
libaio-0.3.96-3.i386.rpm
libaio-devel-0.3.96-3.i386.rpm
其中包libaio-devel-0.3.xx-3.i386.rpm提供了如下三个动态库文件
/usr/lib/libaio
/usr/lib/libaio.so.1
/lib/libredhat-kernel.so.1
6. 如何禁用异步I/O
1) cd to $ORACLE_HOME/rdbms/lib
a) make -f ins_rdbms.mk async_off
b) make -f ins_rdbms.mk ioracle
2) set 'disk_asynch_io=false' (default value is true)
7. 如何检查异步I/O是否在使用
1)cat /proc/slabinfo |grep kio
2)cat /proc/slabinfo |grep kio
kioctx 270 270 128 9 9 1 : 252 126
kiocb 66080 66080 96 1652 1652 1 : 252 126
kiobuf 236 236 64 4 4 1 : 252 126
3) cat /proc/slabinfo |grep kio
kioctx 0 0 128 0 0 1 : 252 126
kiocb 0 0 96 0 0 1 : 252 126
kiobuf 0 0 64 0 0 1 : 252 126
8. 相关的bug
在Red Hat AS 2.1(3)上启用异步I/O有bug,如bug3016968,bug3438751,所以最好升级数据库到最新版本,如9205
tru64
1. 说明
在tru64系统下,主要有二种读写方式:异步I/O(AIO),direct i/o(DIO)
2. 异步I/O
AIO主要是指允许进程不用等待现有I/O的完成而继续进行,AIO只用于裸设备,AIO是一个标准的tru64特征,Oracle Server does not use
Digital UNIX AIO by default. To use Digital UNIX AIO, set the parameter ASYNC_WRITE = 1 in the "init<sid>.ora" file.
NOTE: Oracle recommends you set the parameter DB_WRITERS = 1
when you set the parameter ASYNC_WRITE = 1.
3. direct i/o
DIO则指在读写操作时,不必在系统级缓存它们,这是一个系统级的能力,DIO则用于advfs/cfs,
如果我们在ORACLE中混合使用了裸设备和文件系统,则ORACLE将使用异步I/O来操作其使用的裸设备,使用DIO来操作其使用的文件系统,同时仍需
注意在初使化参数各增加参数DISK_ASYNCH_IO=TRUE;
4.支持的版本
DIO在系统TRU645.0a以上,自动支持,且系统默认的为DIO,而不是异步I/O,
DIO仅在一定的数据库版本下支持,如下:
- Oracle 9.2.0
- Oracle 8.1.7
- Oracle 8.1.6.3
- Oracle 8.1.6.2 with patch 1527141
- Oracle 8.0.6.2 with patch 1523186
- Oracle 7.3.4.5 with patch 1523179
5.存在的情况
在tru64的v5.1及v5.0a下,存在对direct i/o的bug,在打如下的eco补下包:QAR84601_v51_bl2.tar.Z(v5.1,要求Patch Kit
1),QAR84601_v51_bl3.tar.Z(v5.1,要求Patch Kit 2 (BL3)),QAR84601_v50a_bl16.tar.Z(v5.0a,要求Patch Kit 2 (BL16) ),当然最好把系统
的补丁包打到4以上
win
在win平台,是不支持异步I/O的了
提供一角本,以测试每个应用操作而引起的磁盘块的变化:
注意:此测试程序的使用具有相当的危险性，不能用于生产环境。只可小心用于实验室及安装测试环境
1 为简明需要，程序未提供出错判断及CLI 参数方式
2 程序可对文件IO 及裸设备IO 的读写性能提供简单的测试手段。支持随机及 顺序IO模式，其中文件以DIRECT_IO 方式打开。
3 程序不对IO提供程序内部CACHE机制
4 程序未提供多线程功能，未提供fork()功能，只在单一CPU上运行。
5 对于文件IO 的测试，需要使用dd 命令预先生成测试文件
dd if=/dev/zero of=/test/test.dat bs=1024k count=文件尺寸 （单位为MB）
6 程序未提供位置测试选择，理论上0 磁道附近顺序IO 性能最好而中间的磁道随机IO 性能最高
参数说明： file_size 定义测试范围的大小，单位为MB 字节
block_size 定义IO的块大小，单位为K字节
mode 定义IO的模式，顺序IO为0，随机IO为1
rw 定义IO的方式，读方式为0，写方式为1
name 定义IO的目标，可以是文件，也可以是裸设备，如 "/dev/rdisk/dsk5c" 或"/dev/rvol/datavg/vol01"
运行说明：
1 用vi 命令修改参数
2 用cc 命令编译C语言源程序
3 运行 ./a.out
4 用 iostat 观察并记录相关磁盘的统计数据
********************************************************************/
#include <stdio.h>
#include <fcntl.h>
#include <sys/stat.h>
#include <sys/types.h>
define file_size 1000
define block_size 8
define mode 0
define rw 0
define name "/test/test.dat"
int main()
{
int i,j,k,m,n;
int num;
char buf[1024*block_size];
for(k=0;k<1024*block_size;k++)
buf[k]='c';
i=open(name,O_RDWR|O_DIRECTIO,0666);
num=1024*file_size/block_size;
for(j=0;j<num;j++)
{
if(mode==1) { m=rand();
n=m-m/num*num;
lseek(i,1024*n,SEEK_SET);
}
if(rw==0)
read(i,buf,1024*block_size);
if(rw==1)
write(i,buf,1024*block_size);
}
close(i);
exit(0);
}
注意:此测试程序的使用具有相当的危险性，不能用于生产环境。只可小心用于实验室及安装测试环境
1 为简明需要，程序未提供出错判断及CLI 参数方式
2 程序可对文件IO 及裸设备IO 的读写性能提供简单的测试手段。支持随机及 顺序IO模式，其中文件以DIRECT_IO 方式打开。
3 程序不对IO提供程序内部CACHE机制
4 程序未提供多线程功能，未提供fork()功能，只在单一CPU上运行。
5 对于文件IO 的测试，需要使用dd 命令预先生成测试文件
dd if=/dev/zero of=/test/test.dat bs=1024k count=文件尺寸 （单位为MB）
6 程序未提供位置测试选择，理论上0 磁道附近顺序IO 性能最好而中间的磁道随机IO 性能最高
参数说明： file_size 定义测试范围的大小，单位为MB 字节
block_size 定义IO的块大小，单位为K字节
mode 定义IO的模式，顺序IO为0，随机IO为1
rw 定义IO的方式，读方式为0，写方式为1
name 定义IO的目标，可以是文件，也可以是裸设备，如 "/dev/rdisk/dsk5c" 或"/dev/rvol/datavg/vol01"
运行说明：
1 用vi 命令修改参数
2 用cc 命令编译C语言源程序
3 运行 ./a.out
4 用 iostat 观察并记录相关磁盘的统计数据
********************************************************************/
#include <stdio.h>
#include <fcntl.h>
#include <sys/stat.h>
#include <sys/types.h>
define file_size 1000
define block_size 8
define mode 0
define rw 0
define name "/test/test.dat"
int main()
{
int i,j,k,m,n;
int num;
char buf[1024*block_size];
for(k=0;k<1024*block_size;k++)
buf[k]='c';
i=open(name,O_RDWR|O_DIRECTIO,0666);
num=1024*file_size/block_size;
for(j=0;j<num;j++)
{
if(mode==1) { m=rand();
n=m-m/num*num;
lseek(i,1024*n,SEEK_SET);
}
if(rw==0)
read(i,buf,1024*block_size);
if(rw==1)
write(i,buf,1024*block_size);
}
close(i);
exit(0);
}
导入论坛 引用链接 收藏 分享给好友 推荐到圈子 管理 举报
TAG:
