aix5.3+weblogic814问题解决

aix5.3+weblogic814问题解决

1、背景
用户的业务系统，用的是c/s/s架构，中间件是weblogic814，数据库是oracle9.2.0.7双节点的rac。由于系统设计问题

，07年08年的系统放在一台机器上，运行了一个月没什么大问题。

2、问题描述
     今天下午四点的时候用户的技术人员来找我说系统很慢，我们的支持人员也发现在维护数据的时候，进不去系统，

我进数据库服务器查看topas数据正常，cpu和内存都不存在问题。

     然后就进入应用服务器，topas居然进不去，然后找用户的系统管理员过来之后，用weblogic的用户查看iostat，

发现cpu和内存的压力都挺大，我同时查看了一下vmstat 5，发现b参数一直维持在8左右，文档上说该参数大于3证明cpu

有问题，然后pi和po都是四百左右，证明内存也存在问题。系统管理员用就用iostat查看，但是iostat不能看出哪个进

程占用的内存，不过估计是weblogic的哪个服务占用的，后来su到root之后，发现topas可用，查到占用内存很严重的进

程号之后，发现是07年的环境出了问题，该进程也宕掉了，杀掉进程之后，topas恢复正常，07年的应用服务重启之后，

没有异常。由于生产环境恢复很紧急，很多参数没有记录，只是记录了一个过程。

     但是在重启08年的环境的时候，一直报错，在查看nohup文件之后，发现config.xml文件无法读取，查看之后发现

在这个过程中08年环境的config.xml文件居然被置空了。ft，折腾半天之后发现在25日的时候有一个备份，cp过去之后

重启就可以了。

3、总结
a、问题的原因是07年环境和08年环境的同时大量使用导致应用服务器cpu、内存不堪重负，07年环境出现大量的日志写

入，日志写入满了之后，系统没有硬盘空间了，两个服务都宕掉了。
b、两套应用环境最好不要放在一个应用服务器上，容易造成内存和cpu的争用。
c、weblogic的启动配置文件也需要定期备份。