当前位置:网站首页 >> 生活

SortBenchmark是否是跑分测试

时间:2019-05-15 04:56:02 来源:互联网 阅读:0次

【原创稿件】近,一个国际计算赛事Sort Benchmark引发了业界的极大关注。

与SPEC有所不同,Sort Benchmark(http://sort )在国内并不为大多数人所熟知,Sort Benchmark不是有了云计算才有的赛事。该机构的赛事由1998年图灵奖的获得者Jim Gray主办,历届的夺冠企业荟萃了AWS以及大数据领域的Hadoop和Apache Spark等知名科技公司。可以说,Sort Benchmark就是今天计算赛事的殿堂。

而这次能引发讨论和关注,是由于这次入榜登顶的身影中有两家中国的云计算服务商。

Sort Benchmark是什么?为什么近引发关注?

Sort Benchmark发展经历了很长时间,随着摩尔定律的不断发展,集群计算调度算法的不断发展,Sort Benchmark的排序方法也不断发生变化,除不断变化的评比方法外,Sort Benchmark新增了基本原则,在Sort Benchmark的官上,我们看到,2014年开始出现了CloudSort测试。

(上图)腾讯云获Graysort和Minutesort,南京大学、阿里云、Databricks组成的联合参赛团队获Cloudsort

以上三种六项测试中,腾讯云的是Graysort和Minutesort,南京大学、阿里云、Databricks组成的参赛团队获得的是Cloudsort,由于腾讯云、阿里云的参与遂引发关注。

Graysort,Minutesort和Cloudsort分别指的是什么呢?

Graysort测的是排序大量数据(目前小为100TB)时花费的时间,时间越短效率越高。

Cloudsort测的是排序一定数据量时花的成本少,花的钱越少越好,其实就是性价比。

Minutesort测的是在60分钟之内排序的数据量,排的数据量越多越好。

各项测试分为两种:Daytona和Indy,二者的区分在于,前者是通用目的排序,后者要求是专用目的排序。这次榜单中恰巧两项都是相同的,这种情况在以往也经常能看见。

测试有个基本的原则是使用的都是商用化在市场上能买得到的东西,既有直接的硬件方案,也有基于租用的云主机做的方案,并且不能经过任何修改,测试需要排序的数据都是由gensort record generator生成。

2014年百度取得过奖项,2015年阿里云获得Graysort和Minutesort两种四项。2016年腾讯云将比赛记录整体提升了2.8倍到5倍,今年南京大学、阿里云、Databricks联合团队取得Cloudsort两个子项的,拿到了AWS在2014年获得的位置(AWS并没有直接参与到这次测试,加州大学独立参赛,使用AWS在售的虚拟机)。

Sort Benchmark比的是什么呢?

Sort Benchmark考量的是一家公司或机构大规模计算能力的综合实力,不但全面评测分布式系统软件架构能力(如海量数据分布式存储、计算任务切片调度、节点通信调和同步、数据计算监控容灾等性能),也评测了硬件架构能力(如服务器硬件选配、络架构调优、IDC规划建设能力等)。

从Sort Benchmark的官可以看到,腾讯云采用IBM Power处理器,许多人印象中的IBM Power形象非常高大上,但从成本上来算,腾讯云方面表示由Power组成的整体配置的TCO本钱,低于去年阿里云方案的成本

(上图)腾讯云的配置

(上图)阿里云去年的配置

去年阿里云的方案中采用3134+243一共3377多个节点,每一个节点用两路六核的E或者两路八核的E V2,单机性能与Power8系统相比有些差距,但与今年腾讯云使用的512节点10核POWER 8整体计算集群相比相差不是特别大。而且两者都不是近期才更新的产品,Power8是2013年8月发布的,E5 2600 V2系列也是2013年发布的。

内存总量方面阿里内存总量较高;存储IO方面,腾讯云用的是NVMe协议的SSD,阿里云用的是SATA磁盘,腾讯云有优势,但考虑到这里的计算本身可以由内存完成,随机读写的要求不高,优势也不是很明显;络方面,腾讯云用的是Mellanox的100Gb高速互联技术,虽然集群机器数少了6倍,这倒是有明显优势。

整体看,512台机器整体TCO与阿里云去年3377台机器相比本钱低,同时从内存、磁盘、络等整体看与去年的差异不大。相比之下,腾讯云跑出的成绩则高出了许多,其中98.8秒排完100TB的Indy Graysort项更是赚足了眼球。

这说明,腾讯云这次靠的不是高成本堆硬件,考验的是在软硬件的综合实力,从架构到代码,到硬件底层驱动都需要做优化,强化调度能力,内存利用率等。

另外值得注意的是CloudSort这一项,2014年AWS创造的排100TB数据花费451美金,而今年阿里云仅用144美金,两年时间刷新了榜单记录。不过就目前来看,使用当前的硬件价格与2年前的价格进行比较,其可比意义有待商议。

Sort Benchmark测试能与实际运用相结合

Sort Benchmark的比赛规则要求所有的硬件都必须是商用硬件配置,意在让测试与运用相结合,而不是简简单单的跑分测试。南京大学采用阿里云进行CloudSort测试用的都是公然售卖的云主机,可以被用户使用。而腾讯云基于Power的方案在哪儿使用呢?

据了解,腾讯云基于Power的方案在内部系统中也投入了实际使用。半年前OpenPower峰会上宣布要让Power帮腾讯跑大数据应用,这次比赛表明Power在腾讯已经落实。

腾讯云和阿里云在Sort Benchmark的参与,展示了国内云服务商的计算能力,拿到了4种测试中三种的。未来还有一项测试等待挑战,那就是Sort Benchmark的Joule(焦耳),它测试的是排序1定量数据所消耗的功耗。目前该项测试由微软把持,测试中使用的不是Linu而是Win8,毕竟有操作系统的厂商属于特例。

(上图)Sort Benchmark的Joule(焦耳)项目

【51CTO原创稿件,合作站点转载请注明原文作者和出处为】

【:朱朋博 TEL:(010)】

白带多应该吃什么
盆腔炎发病症状有哪些
盆腔炎下腹隐痛

相关文章

一周热门

热点排行

热门精选

友情链接: 新闻 新闻 免费小程序制作 产品介绍
媒体合作:

Copyright (c) 2011 八零CMS 版权所有 Inc.All Rights Reserved. 备案号:京ICP0000001号

RSS订阅网站地图