ODCC张家军：解读整机柜服务器发展报告
核心提示： ODCC委员、ODCC服务器工作组组长、百度高级技术经理张家军对整机柜服务器发展报告进行了深度解读。
4月14日，2016 ODCC技术分享和成果宣贯会在深圳召开。开放数据中心委员会的技术专家分享了各自研究领域的最新进展及部分已公开成果。ODCC委员、ODCC服务器工作组组长、百度高级技术经理张家军对整机柜服务器发展报告进行了深度解读。
ODCC委员、ODCC服务器工作组组长、百度高级技术经理 张家军
以下是发言全文：
张家军：大家上午好！我是张家军，来自百度。像主席刚才说的，今天天气不是特别好，但是南方的同胞的热情非常洋溢，让我们感到格外温暖。也是很荣幸ODCC第一次到深圳来开宣贯会，其实中国整个IT产业最发达的地方还是在珠三角这块，相比今天有很多同仁来到现场，期待在会议过程中和会议之后有更多的交流。
今天我主要围绕服务器工作组在天蝎整机柜方面的工作和大家作分享和汇报，也希望跟大家有更多的互动。
虽然今天有很多老朋友，相比也有很多新朋友，第一次来到会场，第一次知道ODCC，第一次知道天蝎。天蝎是成立于2011年的项目组，而ODCC是2014年整编了我们在服务器、数据中心、网络、测试相关领域的工作，然后组建了一个新的组织。当初成立天蝎的时候是BAT的几位同仁，大家有共同的想法，所以我们觉得我们是不是可以做一个开源的项目。这应该也是国内第一个，到目前为止唯一一个在硬件设计方面的开源项目，就是天蝎整机柜服务器的项目。
我简单回顾在过去差不多5年的时间，天蝎走过的历程。首先我们在2011年的时候，大家通过沟通就想做的事情达成共识，在英特尔的帮助下成立天蝎项目组，到2011年12月份迅速的召开第一次研讨会，召集了相关的业内同行来听取了大家的建议和反馈，这样就是说迅速的把我们的工作开展起来。接下来每一年我们都迅速推进产品的研发和迭代，从事硬件研发的朋友应该会知道，在做硬件研发的时候，它的生命周期通常会比较长，需要经过12-18个月的周期，尤其是做全新的硬件，可能打磨周期会更长。在做这样产品设计的时候，我们一定程度上在效仿互联网行业在软件上快速迭代的经验，我们想硬件的研发也借鉴软件研发好的框架结构，这种经验和模式，也是在摸索当中逐步的让我们的产品开发和实践变得更快。回头看，不到5年时间里，我们从1.0到2.0到2.5和3.0，我们中间也经过5个版本的迭代，整个发展节奏还是非常快的。
整个交付的机柜的数量也非常多，总共到目前为止，我们已经大规模交付了超过6000个Racks，也就是说差不多有15万台服务器是基于整机柜模式交付的，应该说在发展这么长时间以来还是取得了比较好的进展。我们昨天在会议上也说了当初为什么做这个事，现在的客户在运营超大规模的IT基础设施的时候，因为规模很大，一年都会以数以十万台机的服务器采购，每台服务器节约100元，一年下来采购成本的节约就可以达到上千万。在每台设备上有3W、5W功耗的节约，一年下来的运营成本也是千万量级。我们努力把每个点做到极致，去追求它的TCO.
在发展过程中我们形成了自己的模式，在1.0的时候，大家主要设想是做更好的、符合互联网需求的服务器，规模大，能够快速交付、部署，能够提高效率、降低成本。所以我们一开始想借鉴刀片服务器共享架构的设计是比较好的概念，这个概念不是我们首创，在行业里面有很多类似的想法，我们觉得这个比较契合我们的需求，我们把方向定位在这个地方，做共享架构设计，通过集中、模块化的方式更好的帮助我们运维，去提高效率，也降低成本。做1.0过程中我们就想下一步做什么，很遗憾，我今天没有带图过来。后面有厂商带机柜过来，大家感兴趣可以看看，这是按照2.0或者2.5的标准做的，这是标准化程度非常高的机柜。
在刚开始的时候，我们还是走了很多弯路，比如刚刚开始1.0的时候，我们找了行业不同的合作伙伴做，对于整个结构设计应该怎么做，供电、散热、管理，每个模块怎么样设计才是最好，到底有没有风险，会不会导致供电不足，散热会不会导致局部过热，因为我们通过风扇墙构建。整机柜在整个行业里面非常流行，很多公司都推行的比天蝎的节奏慢一点，他们2011年开始计划做这个事，2012年开始推，2012年其实天蝎已经开始部署。这个过程中大家有差异化，比如OCP它就没有集中做。
当我们尝试做基础创新的时候，其实有很多潜在的挑战和未知。为了规避潜在的风险，我们和国内外很多合作伙伴，包括华为、浪潮、富士康这样的OEM、ODM，我们探讨怎么更好，当时每家都拿出自己的方案，我们尝试过80的风扇，最大的是172，所以跨度是非常大的。在做这些摸索的时候，包括供电结构的设计，有各种模式，我们在每个领域通过足够多的数据测试和验证，拿到数据之后找到最优的解。我们看到所谓的最优解能覆盖我们想要解决问题的大部分，在这个过程中快速迭代，我们对2.0有一个清晰思路，我们要标准化，把供电、散热、管理每个模块标准化下来，规避1.0时代的差异化，更好适应大规模部署和降低整个行业的成本。
推进2.0的时候，我们借鉴国外同行行好的点，比如face book推送21英寸的机柜设计，我们开始很反对，19英寸用了这么多，再推一个新的出来，成本很高。结构稳定性方面有很大的不确定性，形变会不会导致未来的运维等出现问题，我们出现很多争论。face book验证了这个事情做的不错，把内部空间增大能够显出突出一些空间，更好的计算存储的弹性。我们在2.0的时候把所有模块做的更标准化。在标准化做完之后我们想下一步做什么，我们又讨论，我们要考虑整个新架构上的创新，我们看到整个大的分布式互联网应用和云计算的大规模发展情况下，今天既有的，比如一个服务器里面包含各个单位的模式，其实会面临瓶颈，资源利用的不均衡，局部的资源的浪费，包括当不同的数据在一个系统里面存在的时候，它不好更好的分成。这是新的挑战，我们思考是不是通过资源池或者解耦合的方式帮我们更好的解决现在的问题。
3.0最终的落地会帮我们回答这个问题，1.0、2.0落地帮我们解答第一个和第二个问题。摸索的过程中，其实每一步的进展都是颇为不容易的，而2015年，我觉得对整个ODCC服务器工作，对天蝎是有实质意义的一年。我们做了几件非常有影响力的事情，首先在部署规模上，去做开源、带动行业做事情，我们最终要看结果，我们不买这个东西，光忽悠做标准，像朱华组长说的，我们光定标准、要求，不说怎么做，这个事情我觉得是不行的。我们要推动整个行业的应用和发展，在2015年，我们的整个部署规模是前面三年的规模，这是很重要的突破。我们预期今年更好。
整体上，我们差不多20万台服务器的部署，在从机修的角度来讲，从用电的角度来讲，从社会的经济效益来讲都取得很好的突破，交付效益上，当我们把这个东西设计认证比较成熟，我们也在信息通信研究院的帮助下把它往整个行业标准上推动，我们在整个整机柜的整体设计开放出来，逐步形成一些标准。
这就是天蝎，我觉得它不只是服务器的设计，而是对整个产业的重新塑造和重新升级的过程。从另一方面来讲，价值方面的收益，刚才有提到，在机修方面的收益，其实通过过去4年多的运营，我们积累了大量线上的数据。共享架构、模块化的设计，不只是帮我们节约成本，同时在数据中心交付效率方面极大帮到我们。随着业务的迅速发展，比如腾讯或者淘宝的例子，当应对某个“双十一”的促销或者微信节日的促销的时候，它的访问量会迅速增长，可能在极短时间内部署上完台机器，传统模式下这个模式不现实。一台一台服务器做，数据库自身的吞吐会成为瓶颈，要交付三五千台机器需要花一两个礼拜的时间，因为平时只有几百台。但是有整机柜一体化交付的时候，一天就可以交付三五千台机器，而且不会有很大的压力，这样基本可以做到早晨到的机器晚上可以上线，极大提升资源交付的效率。
为了配合整机柜的设计，整个数据中心还做了大量的改造和优化。到机柜来了之后，部署完了之后到晚上就可以上线用。另外运维上，设备的故障率提升会对运维带来很大的挑战，整机柜设计通过部件的共享，极大的减少了故障率，整机柜设计里面总的模块绝对数量大量减少，带动整个故障率的降低。整机柜设计里面，我们会裁减很多通用的服务器设计里面为了满足各种不同场景需要的不同功能，把这些不要的功能再拿掉，可以持续降低故障率，带来运维效率的提升。
在经历了这些发展之后，我们从一开始专注于一个产品，甚至一款主流配置设计，到现在能够做更多元化的设计，能够面向不只是BAT，我们作为决策委员会的运营商成员，甚至向其他行业的同行，比如我们现在和电力行业探讨，也和金融行业接触，希望为更多的人提供更优化的开放设计，其中几个典型的产品，比如多节点服务器，可能是4U的设计，比如有四个节点或者八个节点，可以支持计算或者存储，或者两者结合，满足弹性雇主的需求。另外整机柜自身的设计也得演进，在2.5到3.0，2.5我们做什么？我们会做更多更标准化的事情，我们统一一部分的主板设计，让大家买到的东西一模一样。这样让我们规避很多不必要的坑，这个东西你买了，出问题了，所有人都知道这样做会出问题，大家就不会犯这样的措。
我特别要给大家推荐的是天蝎整机柜的冷存储的机柜设计。随着数据量的增长，大家花在存储的成本很高，运营的功耗和采购成本可能占30%-40%，这块成本比重很高，这个设计帮我们很好的解决了大量数据的存储问题。再一个进展是生态方面，我觉得在发展的过程当中，尤其是在ODCC这个组织整个推动下面，我们做好自己的产品设计的同时，也推动整个生态的进一步完善。一开始我们只跟服务器厂商在合作，做服务器，后来我们看到其实这是更大的生态，也包含上下游，现在ARM等都加入ODCC的组织，成为我们的成员，共同推进多样化架构的设计，满足不同行业的需求。除了系统厂商之外，还有更多的关键的部件厂商也加入进来，这是一方面。
第二方面的生态是讲用户生态，以前说这是BAT负责的事情，是不是只有超级互联网才能用？不是，超级运营商也可以用。我们看到除了规模特别大的这种场景之外，中等规模的互联网和一些企业的场景也能用到这个东西。
第三个生态，数据中心生态。其实我想分享一个故事。上周我陪领导去西部的某个省考察我们是不是适合在那边建数据中心，在和当地三大运营商分别沟通的时候，让我非常震惊的是三个运营商在交流做数据中心整体设计规划的时候，讲的第一条是整个数据中心的设计是无缝间歇天蝎整机柜。还有一个已经盖好的数据中心，整个框架结构已经做好了，基建做好带我们参观。我看到整个大院子的设计可以支持集装箱的进入，还有大的卸货平台，有升降平台、电梯、地板的承重，每个环节都按整机柜提出的要求做。这让我感觉非常的欣慰，我们之前邀请中国电信、中国移动包括联通加入我们组织里面，其中一个目的是希望推动运营商更好的支持设计的发展，今天我们发现西部的某个省大家也都关注这个事情，甚至朝着这个方向努力，整个数据中心的生态在日趋完善。
回顾了天蝎一路走过来的历程，我们做出了一些成绩，也经历了一些事。我们希望再往前走一步，能做的更好一些。这是我们整个工作组的讨论下拟定的2016年的一个主要的工作。我们承诺在2015年3000个机柜的基础上，今年保守做到四千个机柜，甚至更多，使整个规模有保障。帮助大家进入这个领域的时候，有足够的饼可以划分。推出这个事情，成本驱动就是我们的核心诉求之一，我们依然会持续优化和降低它在整个TCO.落实到具体的项目上，我们会推动天蝎2.5大规模落地和使用，推动天蝎多节点的设计，还有多节点里面的资源池化。刚才唐华斌说，去年年底到现在整个多节点有超过1万个节点的交付，也有国内两三个主要的系统厂商参与进来，所以多节点已经取得非常好的开局，我觉得这比当时的整机柜好很多。三是冷存储系统，它目前还没有形成规范，我们今年会标准化下来，把规范开放出来，使更多的人了解我们设计的优势。四是天蝎3.0，我们今年的目标和承诺是做起来，因为这个事情提了三年多，准确说2012年我们就在提这个事，现在有些好的应用场景和技术解决方案可以帮忙落地。
当然还有新的挑战，除了做整个服务器系统层面的设计之外，整个计算和存储发生了前所未有的变化，曾经我们一度担心这个技术搞到今天没得搞了，存储像硬盘，每个单位的碟片的存储密度和碟片的数量都无限趋近物理极限，下一步怎么做？数据的需求等等不断增长，在以人工智能和深度学习的需求、推动，我们发现数据中心发生了新的变化，像GPU被引入进来，甚至在大数据领域。另外FPGA也进入数据中心等等。在存储领域也是一样，不同的厂商推出新的存储建设，比如有人考虑用蓝光解决存储的问题。我们看到计算和存储架构里面有新东西值得我们探索和做，我们下一步要做什么？我觉得还是有很多好的东西。
最后，再迅速和大家分享一下我们关于探索和实践方面的东西。一、我们做整机柜。我们觉得机柜就是一个数据中心。2012做整机柜会觉得是一个趋势，数据中心端会从集中化方式向分布式走等，经过一段时间的演变，发现越来越明显。这个耦合的结果是今天的整机柜支持自然风冷却，把这个机柜拉到哪里插上电就是数据中心。事实上某些数据中心已经做到了。二、解耦合、资源池化推动下，未来数据中心可以像一台服务器一样工作，整个技术上的资源可以根据功耗、根据性能、通用性、易构性进行划分，能够更好的推动它在不同领域的加速和应用。在计算和存储之间又可以根据数据存储的需求、冷热度的需求进行另外一个层次的划分，进行很好的有机整合。
在我们的实践中，机柜本身或者机柜之间往模块化整合过程中，可以迅速组建一个快速部署的模块化数据中心。另外我们也去探索，刚才讲了整合之后要去控制，看能不能实现IT设备和数据中心联动，以前做IT是做IT，数据中心是数据中心，没有关联。数据中心要足够的电和能，当我们把PUE做到极限的时候，我们看到只有联动起来才能更节能。大家知道变频空调，为什么叫变频空调？空调的温度随着室温的变化甚至体感温度变化来调整。我们在数据中心也可以用这样的概念进行控制，用IT和数据中心联动，这些都是已经落地的东西。我们会在IT设备端进行更多的尝试，尝试用高温、耐腐蚀的环境，国内的气候环境很差。我们IT设备端支持高温和耐腐蚀的运行场景，就可以使我们大江南北更多的地方建数据中心。刚才朱华讲要做选址，我们放开更多IT设备的可能性的时候，对选址的负担变得更小，提供更多的可能性。希望在今年或者明年把这部分内容加入整个天蝎和ODCC的分享里面来，更多开放资源给大家。
全网数据（www.quanidc.com)注册资金1000万，隶属于深圳市全网数据科技有限公司旗下品牌，是国内最专业的IDC服务应用提供商之一，是工信部认定的综合电信业务服务商，依托中国电信,中国联通,中国移动三大运营商形成三网合一，主营运营的数据中心包含：深圳,广州,北京,上海,东莞,中山,佛山,香港,美国 等地专业级数据中心。
服务范围：云主机／服务器托管／服务器租用／机柜租用／带宽批发／CDN加速／专线上网／VPN等服务。
全网互联拥有专业的技术团队为您提供完美解决方案和数据中心服务,用心服务,放心托付。
提供全年无休365*7*24小时售后在线技术服务,用户至上，用心服务每一位用户，您可以把您的应用放心的交给我们。
联系电话：0755-88820932
