互聯網企業(yè)大佬們的自研數據中心之路
發(fā)布時間:2014-02-28
點擊次數:3144
-
計算機
-
2000年以后,我們進入了互聯網時代。在這個世界上涌現出了一批優(yōu)秀的互聯網企業(yè),比如國外的Google、Facebook,國內的百度、阿里巴巴、騰訊等。這些互聯網大佬依托于互聯網技術發(fā)家,自然對自己賴以生存的數據中心非常重視。Google每年投入到數據中心建設的費用高達數億美元,在2013年投入超過了10億美元。Facebook也不甘落后,在世界各地建設新的數據中心。國內的企業(yè)也在布局自己的數據中心,2013年,百度在內蒙進行了大型數據中心建設,騰訊的天津特大型數據中心建設,都耗資數億。全世界的數據量都在成倍地增長,互聯網企業(yè)要想保持高速增長,就必須做大量的投入,購買數萬臺的服務器,數千臺的網絡設備,一個數據機房一周的時間就可以搭建完畢。流淌著的流量那就是金錢,誰的數據中心規(guī)模越龐大,誰就能掌握的流量越多,誰就將成為這個市場的王者。
在經過了近些年大刀闊斧的建設后,這些大佬們才意識到控制成本,一味的不考慮成本的投入顯然大大攤薄了獲得的凈利潤。只有自己對自己的數據中心建設意圖最了解,對采購進來的服務器、網絡設備、存儲設備等只做簡單的堆疊與互連,顯然無法充分發(fā)揮出最大的效能。有些大佬已經開始意識到這樣的發(fā)展遲早會出現問題,會被競爭對手所超越,最好的數據中心并不是指有最多數量的服務器和網絡設備。
互聯網企業(yè)的業(yè)務完全依托于集群服務器(指的是數百臺服務器因一個應用同時工作),對服務器數量需求很大,隨著數據量增加,增加服務器是不可避免的。所以首先他們要控制采購服務器的數量,減少硬件采購成本,盡量通過軟件優(yōu)化提升性能?;ヂ摼W企業(yè)的技術人員整天和服務器打交道,所以對服務器非常了解,尤其許多涉及硬件的應用設計還需要和服務器廠家的人合作完成,這就讓互聯網企業(yè)的人有機會接觸到服務器操作系統的底層實現,這樣互聯網企業(yè)就有了自研服務器的技術基礎?,F在的服務器幾乎成為了標準設備,硬件方面主要是CPU+內存+硬盤+網卡,再安裝上免費的Linux操作系統就可以用了?;ヂ摼W企業(yè)顯然不愿意再掏大量的金錢去購買這些服務器,讓服務器廠家大賺一筆。于是他們開始自己研發(fā)服務器樣品,然后直接與代工廠合作,提供需要的服務器硬件指標,由代工廠生產,這樣減少了采購環(huán)節(jié),節(jié)約了采購成本。在Google、Facebook的數據中心到處可見其自研的服務器設備,他們可以為了實現自己的應用甚至去修改服務器的硬件設置,讓服務器完全為應用服務,如果使用的是別人的服務器就很難實現。這種自研服務器為Google和Facebook的業(yè)務部署提供了方便,Facebook甚至還準備向外出售其設計的服務器產品。
當然,凡事都有兩面性,服務器廠商專做服務器幾十年,顯然不是互聯網企業(yè)所能比擬的。雖然互聯網企業(yè)技術積累深厚,但畢竟不是專做服務器,所以他們自研的服務器僅限于低級應用程序使用,服務器的性能和功耗等也無法與服務器廠商的設備相比?,F在服務器廠商的設備可以達到32核同時工作,硬盤數TB,內存32G,這樣的高性能產品互聯網企業(yè)很知趣,還得乖乖地從外部采購,自研技術還不到家。就算是自研的服務器也不敢承載重要業(yè)務,與服務器廠家設備在各種各樣應用環(huán)境中得到磨練相比,自研服務器的穩(wěn)定性還不足,一旦承載的業(yè)務出問題,有苦只能往自己肚子里咽,如果是使用的是服務器廠商的,還可以向服務器廠商討要損失。所以服務器自研之路并不是那么好走的,只能是互聯網大佬的一個嘗試,想完全自給自足,還有很長的路要走。
國內幾個互聯網大佬們也沒有閑著,自研服務器對他們有點難度,畢竟中國接觸服務器的時間有點晚,掌握到服務器設計技術的人才較少,服務器技術的發(fā)展遠低于國外,于是他們將觸角引向了網絡設備。百度和騰訊早在自己的數據中心里部署了自研的網絡設備。這些互聯網企業(yè)的數據中心網絡架構并不復雜,普遍內部采用的是大二層網絡,匯聚層有幾臺三層設備就可以了,基本沒有復雜的協議運行,OSFP是其最喜歡的三層協議,二層聚合互連是其最喜歡的二層協議,這樣的數據中心為了實現服務器互連需要數千臺的二層網絡設備,所以他們每年采購二層網絡設備數量僅次于服務器數量,價格不菲。二層網絡設備硬件組成主要有轉發(fā)芯片+CPU+內存,轉發(fā)芯片可以完成二層轉發(fā)功能,只要通過軟件調試讓這些芯片協調工作起來即可,所以相比服務器,二層網絡設備更為容易自研,現在的百度已經完全實現了二層網絡設備自己自足。由于受技術積累所限,三層以上的網絡設備還需要從外部采購,騰訊也采用的這種模式。同樣,采用自研設備受限于自身技術積累不足,掌握不好反而達不到節(jié)省成本的目的,2013年年底的這次騰訊QQ業(yè)務大斷網就是其自研設備惹的禍,這次故障給騰訊帶來了非常不好的聲譽,所以過于大膽采用自研設備就意味著風險增加,就目前互聯網的技術積累而言,步子還是不要邁的太大。
數業(yè)有專攻,互聯網企業(yè)本質還是基于數據中心做應用的,并不是專業(yè)的數據中心提供商,走自研之路可以給互聯網節(jié)約成本,更加具有競爭優(yōu)勢,值得學習。但除非有雄厚的技術積累,成熟的應用,才可以走自研之路。就現行的技術發(fā)展水平而言,互聯網企業(yè)的數據中心自研僅能作為其數據中心建設的一個必要補充,成不了主流,更不會是全部。對于中小型的互聯網企業(yè)而言,就不要自研了,聚焦自己業(yè)務,否則會得不償失。
上一條:云計算也玩無邊界化看Windows Azure看法
下一條:暫無