你知道YouTube的架構(gòu)是什么嗎?

2010-08-28 10:52:36來(lái)源:西部e網(wǎng)作者:

YouTube發(fā)展迅速,每天超過(guò)1億的視頻點(diǎn)擊量,但只有很少人在維護(hù)站點(diǎn)和確保伸縮性。

平臺(tái)
Apache
Python
Linux(SuSe)
MySQL
psyco,一個(gè)動(dòng)態(tài)的Python到C的編譯器
lighttpd代替Apache做視頻查看

狀態(tài)
支持每天超過(guò)1億的視頻點(diǎn)擊量
成立于2005年2月
于2006年3月達(dá)到每天3千萬(wàn)的視頻點(diǎn)擊量
于2006年7月達(dá)到每天1億的視頻點(diǎn)擊量
2個(gè)系統(tǒng)管理員,2個(gè)伸縮性軟件架構(gòu)師
2個(gè)軟件開(kāi)發(fā)工程師,2個(gè)網(wǎng)絡(luò)工程師,1個(gè)DBA

處理飛速增長(zhǎng)的流量


代碼
while (true)     
 {     
   identify_and_fix_bottlenecks();     
  drink();     
   sleep();     
   notice_new_bottleneck();     
 }  

每天運(yùn)行該循環(huán)多次

Web服務(wù)器
1,NetScaler用于負(fù)載均衡和靜態(tài)內(nèi)容緩存
2,使用mod_fast_cgi運(yùn)行Apache
3,使用一個(gè)Python應(yīng)用服務(wù)器來(lái)處理請(qǐng)求的路由
4,應(yīng)用服務(wù)器與多個(gè)數(shù)據(jù)庫(kù)和其他信息源交互來(lái)獲取數(shù)據(jù)和格式化html頁(yè)面
5,一般可以通過(guò)添加更多的機(jī)器來(lái)在Web層提高伸縮性
6,Python的Web層代碼通常不是性能瓶頸,大部分時(shí)間阻塞在RPC
7,Python允許快速而靈活的開(kāi)發(fā)和部署
8,通常每個(gè)頁(yè)面服務(wù)少于100毫秒的時(shí)間
9,使用psyco(一個(gè)類似于JIT編譯器的動(dòng)態(tài)的Python到C的編譯器)來(lái)優(yōu)化內(nèi)部循環(huán)
10,對(duì)于像加密等密集型CPU活動(dòng),使用C擴(kuò)展
11,對(duì)于一些開(kāi)銷昂貴的塊使用預(yù)先生成并緩存的html
12,數(shù)據(jù)庫(kù)里使用行級(jí)緩存
13,緩存完整的Python對(duì)象
14,有些數(shù)據(jù)被計(jì)算出來(lái)并發(fā)送給各個(gè)程序,所以這些值緩存在本地內(nèi)存中。這是個(gè)使用不當(dāng)?shù)牟呗。?yīng)用服務(wù)器里最快的緩存將預(yù)先計(jì)算的值發(fā)送給所有服務(wù)器也花不了多少時(shí)間。只需弄一個(gè)代理來(lái)監(jiān)聽(tīng)更改,預(yù)計(jì)算,然后發(fā)送。

視頻服務(wù)
1,花費(fèi)包括帶寬,硬件和能源消耗
2,每個(gè)視頻由一個(gè)迷你集群來(lái)host,每個(gè)視頻被超過(guò)一臺(tái)機(jī)器持有
3,使用一個(gè)集群意味著:
-更多的硬盤來(lái)持有內(nèi)容意味著更快的速度
-failover。如果一臺(tái)機(jī)器出故障了,另外的機(jī)器可以繼續(xù)服務(wù)
-在線備份
4,使用lighttpd作為Web服務(wù)器來(lái)提供視頻服務(wù):
-Apache開(kāi)銷太大
-使用epoll來(lái)等待多個(gè)fds
-從單進(jìn)程配置轉(zhuǎn)變?yōu)槎噙M(jìn)程配置來(lái)處理更多的連接
5,大部分流行的內(nèi)容移到CDN:
-CDN在多個(gè)地方備份內(nèi)容,這樣內(nèi)容離用戶更近的機(jī)會(huì)就會(huì)更高
-CDN機(jī)器經(jīng)常內(nèi)存不足,因?yàn)閮?nèi)容太流行以致很少有內(nèi)容進(jìn)出內(nèi)存的顛簸
6,不太流行的內(nèi)容(每天1-20瀏覽次數(shù))在許多colo站點(diǎn)使用YouTube服務(wù)器
-長(zhǎng)尾效應(yīng)。一個(gè)視頻可以有多個(gè)播放,但是許多視頻正在播放。隨機(jī)硬盤塊被訪問(wèn)
-在這種情況下緩存不會(huì)很好,所以花錢在更多的緩存上可能沒(méi)太大意義。
-調(diào)節(jié)RAID控制并注意其他低級(jí)問(wèn)題
-調(diào)節(jié)每臺(tái)機(jī)器上的內(nèi)存,不要太多也不要太少

視頻服務(wù)關(guān)鍵點(diǎn)
1,保持簡(jiǎn)單和廉價(jià)
2,保持簡(jiǎn)單網(wǎng)絡(luò)路徑,在內(nèi)容和用戶間不要有太多設(shè)備
3,使用常用硬件,昂貴的硬件很難找到幫助文檔
4,使用簡(jiǎn)單而常見(jiàn)的工具,使用構(gòu)建在Linux里或之上的大部分工具
5,很好的處理隨機(jī)查找(SATA,tweaks)

縮略圖服務(wù)
1,做到高效令人驚奇的難
2,每個(gè)視頻大概4張縮略圖,所以縮略圖比視頻多很多
3,縮略圖僅僅host在幾個(gè)機(jī)器上
4,持有一些小東西所遇到的問(wèn)題:
-OS級(jí)別的大量的硬盤查找和inode和頁(yè)面緩存問(wèn)題
-單目錄文件限制,特別是Ext3,后來(lái)移到多分層的結(jié)構(gòu)。內(nèi)核2.6的最近改進(jìn)可能讓Ext3允許大目錄,但在一個(gè)文件系統(tǒng)里存儲(chǔ)大量文件不是個(gè)好主意
-每秒大量的請(qǐng)求,因?yàn)閃eb頁(yè)面可能在頁(yè)面上顯示60個(gè)縮略圖
-在這種高負(fù)載下Apache表現(xiàn)的非常糟糕
-在Apache前端使用squid,這種方式工作了一段時(shí)間,但是由于負(fù)載繼續(xù)增加而以失敗告終。它讓每秒300個(gè)請(qǐng)求變?yōu)?0個(gè)
-嘗試使用lighttpd但是由于使用單線程它陷于困境。遇到多進(jìn)程的問(wèn)題,因?yàn)樗鼈兏髯员3肿约簡(jiǎn)为?dú)的緩存
-如此多的圖片以致一臺(tái)新機(jī)器只能接管24小時(shí)
-重啟機(jī)器需要6-10小時(shí)來(lái)緩存
5,為了解決所有這些問(wèn)題YouTube開(kāi)始使用Google的BigTable,一個(gè)分布式數(shù)據(jù)存儲(chǔ):
-避免小文件問(wèn)題,因?yàn)樗鼘⑽募占揭黄?
-快,錯(cuò)誤容忍
-更低的延遲,因?yàn)樗褂梅植际蕉嗉?jí)緩存,該緩存與多個(gè)不同collocation站點(diǎn)工作
-更多信息參考Google Architecture,GoogleTalk Architecture和BigTable

數(shù)據(jù)庫(kù)
1,早期
-使用MySQL來(lái)存儲(chǔ)元數(shù)據(jù),如用戶,tags和描述
-使用一整個(gè)10硬盤的RAID 10來(lái)存儲(chǔ)數(shù)據(jù)
-依賴于信用卡所以YouTube租用硬件
-YouTube經(jīng)過(guò)一個(gè)常見(jiàn)的革命:?jiǎn)畏⻊?wù)器,然后單master和多read slaves,然后數(shù)據(jù)庫(kù)分區(qū),然后sharding方式
-痛苦與備份延遲。master數(shù)據(jù)庫(kù)是多線程的并且運(yùn)行在一個(gè)大機(jī)器上所以它可以處理許多工作,slaves是單線程的并且通常運(yùn)行在小一些的服務(wù)器上并且備份是異步的,所以slaves會(huì)遠(yuǎn)遠(yuǎn)落后于master
-更新引起緩存失效,硬盤的慢I/O導(dǎo)致慢備份
-使用備份架構(gòu)需要花費(fèi)大量的money來(lái)獲得增加的寫性能
-YouTube的一個(gè)解決方案是通過(guò)把數(shù)據(jù)分成兩個(gè)集群來(lái)將傳輸分出優(yōu)先次序:一個(gè)視頻查看池和一個(gè)一般的集群
2,后期
-數(shù)據(jù)庫(kù)分區(qū)
-分成shards,不同的用戶指定到不同的shards
-擴(kuò)散讀寫
-更好的緩存位置意味著更少的IO
-導(dǎo)致硬件減少30%
-備份延遲降低到0
-現(xiàn)在可以任意提升數(shù)據(jù)庫(kù)的伸縮性

數(shù)據(jù)中心策略
1,依賴于信用卡,所以最初只能使用受管主機(jī)提供商
2,受管主機(jī)提供商不能提供伸縮性,不能控制硬件或使用良好的網(wǎng)絡(luò)協(xié)議
3,YouTube改為使用colocation arrangement。現(xiàn)在YouTube可以自定義所有東西并且協(xié)定自己的契約
4,使用5到6個(gè)數(shù)據(jù)中心加CDN
5,視頻來(lái)自任意的數(shù)據(jù)中心,不是最近的匹配或其他什么。如果一個(gè)視頻足夠流行則移到CDN
6,依賴于視頻帶寬而不是真正的延遲?梢詠(lái)自任何colo
7,圖片延遲很嚴(yán)重,特別是當(dāng)一個(gè)頁(yè)面有60張圖片時(shí)
8,使用BigTable將圖片備份到不同的數(shù)據(jù)中心,代碼查看誰(shuí)是最近的

學(xué)到的東西
1,Stall for time。創(chuàng)造性和風(fēng)險(xiǎn)性的技巧讓你在短期內(nèi)解決問(wèn)題而同時(shí)你會(huì)發(fā)現(xiàn)長(zhǎng)期的解決方案
2,Proioritize。找出你的服務(wù)中核心的東西并對(duì)你的資源分出優(yōu)先級(jí)別
3,Pick your battles。別怕將你的核心服務(wù)分出去。YouTube使用CDN來(lái)分布它們最流行的內(nèi)容。創(chuàng)建自己的網(wǎng)絡(luò)將花費(fèi)太多時(shí)間和太多money
4,Keep it simple!簡(jiǎn)單允許你更快的重新架構(gòu)來(lái)回應(yīng)問(wèn)題
5,Shard。Sharding幫助隔離存儲(chǔ),CPU,內(nèi)存和IO,不僅僅是獲得更多的寫性能
6,Constant iteration on bottlenecks:
-軟件:DB,緩存
-OS:硬盤I/O
-硬件:內(nèi)存,RAID
7,You succeed as a team。擁有一個(gè)跨越條律的了解整個(gè)系統(tǒng)并知道系統(tǒng)內(nèi)部是什么樣的團(tuán)隊(duì),如安裝打印機(jī),安裝機(jī)器,安裝網(wǎng)絡(luò)等等的人。With a good team all things are possible。

 

關(guān)鍵詞:YouTube