空间管理您的位置: ITPUB个人空间 » 不胜人生一场醉 » 日志

这是最好的时代，这是最坏的时代，这是智慧的时代，这是愚蠢的时代；这是信仰的时期，这是怀疑的时期；这是光明的季节，这是黑暗的季节；这是希望之春，这是失望之冬；人们面前有着各样事物，人们面前一无所有；人们正在直登天堂；人们正在直下地狱。我也要与时俱进了，被itpub2.0牵着尾巴，拼命的奔跑，不停的灌水...

Green Plum测试报告

上一篇 / 下一篇 2011-11-07 23:12:38 / 个人分类：数据仓库专区

查看( 260 ) / 评论( 9 ) / 评分( 1 / 1 )

最近在EMC公司就Green Plum做了下测试，总体而言，测试效果还是很不错的，在这里非常感谢EMC测试人员的协助，希望有机会能够合作。

本文先后从数据加载、数据查询、数据范围查询、数据更新、修改方面对Green Plum做了相关测试，并给出了评测结论。ITPUB个人空间qK0Z!o+EPY

第 1 章测试环境

1.1 硬件环境

测试项目	Oracle11G	GreenPlum Master 节点	GreenPlum Segment 4节点	GreenPlum Segment 8节点
主机节点数	2	2	4	8
CPU	2*4 intel 2.83GHz	2*6 intel 3.0GHZ	2*6 intel 2.93GHZ	2*6 intel 2.93GHZ
内存	16G
磁盘	146G*2(Raid1) SAS 10K	6*300GB SAS(Raid5)	12*600GB SAS(Raid5)	12*600GB SAS(Raid5)
存储	DELL MD3200 6Gbps SAS 362T(2Hotspace) 2T8+10T( Raid5)	N/A	N/A	N/A
网络	2*1Gb千兆网口	41 Gb千兆网口 21 10GB 万兆网口	21 Gb 千兆网口 21 10GB 万兆网口	21 Gb 千兆网口 21 10GB 万兆网口
交换机	3560千兆交换机	万兆交换机2台，千兆交换机1台

1.2 软件环境

	Oracle	Green Plum
操作系统&版本	Oracle Linux5.6	Linux5.5
数据库&版本	Oracle 11g 11.2.0.2.0	Greenplum-db-4.1.1.3

第 2 章测试内容及结果

2.1 加载性能测试

2.1.1 性能测试项目

测试项目	具体项目	Oracle 11G	GreenPlum 4节点	GreenPlum 8节点
CopyVSSQL loader	6400万	900秒	N/A	N/A
外部表VS外部表	6400万	N/A	63秒	50秒
外部表VS外部表	6400万*3	N/A	130秒	76秒
Insert方式VSInsert方式	6400万	1800~9000秒
	6400万*4	N/A	74秒	39秒
	6400万*8	N/A	360秒	90秒
	6400万*16	N/A	356秒	209秒

2.1.2 测试结果总结

从4节点与8节点的加载性能来看，性能和节点数量基本呈线性关系。

Green Plum与Oracle相比，数据加载的性能提高20倍~100倍不等。

2.2 SELECT性能测试

2.2.1 性能测试项目

标准查询语句性能测试

测试项目	具体项目	Oracle 11G	GreenPlum 4节点	GreenPlum 8节点
单分区分组（参见相关语句）	Select	120秒	——	40
	CTAS	33秒	17.5秒	12秒
	Insert	——	11.9秒	5.3秒
八分区分组（参见相关语句）	Select	500秒	——	77.6秒
	CTAS	232秒	——	——
	Insert	——	——	40.5秒
三十个分区分组（参见相关语句）	CTAS	——	——	207.3秒
单分区与八个分区分组统计（参见相关语句）	Select	437秒	67.1秒	56.1秒
	CTAS	——	35.8秒	27.7秒
	Insert	——	32.4秒	21.9秒
单分区与三十个分区分组统计（参见相关语句）	Select	——	230.0秒	——

IP查询语句性能测试

测试项目	Oracle 11G	GreenPlum 4节点	GreenPlum 8节点
IP范围查询—by 转换后（参见相关语句）	约1800秒	——	约2537秒
IP范围查询—by函数（参见相关语句）	约18000秒	——	约36000秒
IP查询（参见相关语句）	——	21秒	32~98秒

2.2.2 测试结果总结

从以上的测试数据来看，大批量的数据处理，都能够在所期望的时间内以很短的时间完成执行。通过4个节点与8个节点响应的SQL测试时间的比较来看，性能与节点数量基本上呈线性关系。

GreenPlum与Oracle相比，数据查询的性能提高3倍~20倍不等。（Oracle的测试结果已做过优化，GP则为无索引状态）

基于IP范围查询的结果见补充说明

2.2.3 补充说明

对于IP范围查询（包括数字和函数比较），Green Plum和Oracle的执行性能均一般，GreenPlum还要更差一些。

为了解决这个性能问题，Green Plum对IP表做了特殊处理，即把10999行的IP表拆分成1亿多条的IP明细表，采用等关联处理，即避开nestloop方式的join而使用更为快速的hash join。修正效果显著，相同的数据关联从之前的约2500秒的处理时间降低到约20秒，有了100倍左右的提升。

2.3 UPDATE、DELETE性能测试

2.3.1 性能测试项目

测试项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

Update（30个分区）

——

130.7秒

Delete

——

12秒

2.3.2 测试结果总结

对于大批量数据的更新和删除，Green Plum的优势更加明显，Oracle还需要加以特殊处理（即分段处理）才能进行更新和删除。

Green Plum的Update有个小问题，批量增加字段会导致整个表的大小翻倍，可以通过表的在线分析进行压缩。

全部脚印 不留脚印留下脚印:

dukewyh

导入论坛引用链接收藏分享给好友推荐到圈子管理举报

TAG:

引用删除 cherryway / 2011-11-10 12:10:38: 灰常不公平的测试，不知道这杨对比有意思的

引用删除 edwardking888 / 2011-11-10 10:56:17: 不靠谱的测试!

引用删除 pineapple0401 / 2011-11-10 09:33:44: gp 实际上就是hash的并行，这样比对oracle不股票

引用删除 11111 / 2011-11-09 18:40:17: 原帖由Guest于2011-11-08 14:31:21发表
这个测试报告除了看出来greenplum可以线性扩展外，其他结论基本都是失真的。比如：
1.greenplum节点比较多

这个说的不错，LZ是测试的？还是推销员？

引用删除 Guest / 2011-11-09 18:38:56: 评 -1 分

引用删除 Guest / 2011-11-08 14:32:04: 评 1 分

引用删除 Guest / 2011-11-08 14:31:21: 这个测试报告除了看出来greenplum可以线性扩展外，其他结论基本都是失真的。比如：
1.greenplum节点比较多，oracle节点较少，而且不清楚这个测试里面使用的是不是rac，oracle exadata比rac就快很多。如果能将软硬件核算成成本应该比较有意义。
2.加载速度，oracle外部表启用必发速度会比sqlloader快N被，greenplum和sqlloader相比不合适。
3.查询，insert等不知道有没有开启oracle的pallel，还有据说exadata的速度会比rac快20倍往上。
4，测试与数据本省也有一定的关系，可以造出一份数据是rac比greenplum快N倍。
觉得应该是各有各的优点，greenplum的扩展能里很好，售价相对较低，性能上谁好谁坏不好说。