程式創新是Uber的命脈,他們還用開源工具自行打造大數據平臺,來維持源源不絕的創新。但6年前,Uber業務快速擴增,不僅多了外送服務Uber Eats,還新增卡車貨運服務Uber Freight和單車共享服務Jump Bikes,資料量隨之暴增,大數據平臺更成為Uber最燒錢的工具。

於是,Uber在2020年初制定了大數據平臺省錢策略,射出三支箭,其一瞄準平臺效率,團隊更毫不藏私地把成功經驗分享出來,手把手告訴身處同樣困難的企業,如何在業務擴增的同時,還能降低大數據平臺開銷。

Uber大數據平臺採用一系列開源工具,像是Spark、Hadoop、Presto,團隊也根據這些平臺,嘗試多種效率優化方法,比如優化檔案格式、用HDFS抹除碼降低重複性資料。(圖片來源/Uber)

作法1:大數據檔案格式優化

他們的平臺效率省錢術,一點都不華麗,直接從最基本的檔案格式著手。常見的熱門開源大數據平臺,像是Spark、Hadoop、Kafka等,都是Uber長年使用的工具,而在他們的Hadoop分散式檔案系統(HDFS)中,大多是Hive表格,並以Parquet或ORC格式儲存。

這兩種格式,都是基於區塊的列式儲存格式。也就是說,一個檔案會由好幾個區塊組成,每個區塊則由大量的列組成,比如1萬列,這些資訊,就儲存在不同欄位中。

這些檔案容量很大,Uber仔細研究自家的HDFS檔案,想出幾招檔案瘦身方法,首先是採用壓縮演算法。起初,Uber一直將GZIP 6級預設為Parquet格式檔案的壓縮演算法,後來,臉書發表一項新工具,讓ZSTD壓縮演算法也能用於Parquet檔案。

於是,Uber用ZSTD來測試壓縮自家檔案,發現ZSTD 9級和19級的壓縮率和解壓縮速度比GZIP要好,就決定用ZSTD 9級來重新壓縮存放1個月的檔案,並用19級來壓縮存放3個月的檔案。這些重新壓縮工作都可背景執行,Uber不必花力氣手動調整。

除了壓縮演算法,Uber還嘗試其他檔案瘦身方法,像是重新排序列,他們手動調整內部龐大的Hive表格,將使用者ID和時間戳重新排序,檔案容量就減少了一半。還有一個方法是刪除列,Uber啟用一個功能,來定期刪除從Kafka匯入的Hiva表格欄位。

作法2:用HDFS抹除碼降低重複性資料

再來,Uber提高平臺效率的第2招,是借助HDFS抹除碼來降低HDFS檔案的重複性因子。簡單來說,HDFS抹除碼是一種資料容錯技術,可取代檔案中的重複性資料,大幅釋放容量。Uber指出,由於HDFS的重複性因子預設值為3x,因此透過HDFS抹除碼,HDD的空間需求幾乎可減少一半。

他們也評估了2種常見的抹除碼工具,首先是官方的Hadoop 3.0抹除碼,它的好處是,不論大檔案還是小檔案都能用,缺點則是IO效率並不高。另一個是用戶端抹除碼,這是臉書在HDFS-RAID專案中實作出的工具,IO效率非常高,但不適用於小檔案,不符合Uber需求。

最後,Uber決定採用Hadoop 3.0抹除碼,來降低各種大小檔案的重複性因子。他們深信,這個方法可大幅降低HDFS成本。

作法3:改善YARN排程政策

另一方面,Uber也鎖定專門執行大數據工作負載的開源工具YARN,來改善平臺效率。就像大多數企業一樣,一開始,Uber用YARN內建的容量排程器來分配工作,透過其中的MIN和MAX設定來配置階層式佇列結構。

Uber也用YARN建立2級的階層式佇列結構,第1級以組織為主,使用者可根據需求,進一步發展出第2級佇列。雖然YARN容量排程器給了Uber極好的起頭,但他們很快就遇到YARN叢集容量管理兩難。Uber一方面想盡可能善用叢集資源,一方面又要讓使用者清楚知道,他們能期望使用多少YARN叢集資源。

於是,Uber寫了套Dynamic MAX演算法,來準確告訴使用者可用的YARN資源。這套演算法的原理是,佇列在過去23小時如果都沒使用,接下來可處理的佇列最大值,就會為MIN值的24倍。這個設計,足以處理Uber絕大多數的尖峰工作負載。

如果佇列在過去23小時內,平均用量都在MIN左右,那麼在下一個小時內,佇列也只限於MIN值。這個規則,讓佇列在24小時內都不會超出MIN值,因此避免了資源濫用的情況。

在實際狀況中,Uber把MIN值設定為佇列平均用量的125%,當作是每日用量變量的25%。這也代表,他們的YARN叢集平均使用率在8成左右,是極好又符合成本效益的使用率。

作法4:叢集聯邦

隨著自家YARN和HDFS叢集越來越龐大,Uber開始遇到效能瓶頸,比如,HDFS主要節點NameNode和YARN資源管理器速度越來越慢,不僅影響擴展能力,也大大影響大數據平臺的成本。

為解決問題,他們研究了兩種方法,首先是繼續改善單節點效能,像是用更多CPU vCore和記憶體來強化工作表現,另一種則是聯邦叢集方法,也就是「叢集的叢集」(Cluster of clusters)方法,透過建立一個虛擬叢集,負責所有的工作負載路徑分配邏輯,再以這個叢集來優化其他YARN和HDFS叢集效能。

後來,Uber選用聯邦叢集方法來解決問題。因為,對他們來說,目前市面上的HDFS和YARN叢集都比他們所需的還要小,如果他們靠改善單節點效能,叢集會越來越龐大,很有可能會出現小叢集沒見過的程式錯誤。再來,要HDFS和YARN擴展到Uber期望的叢集大小,Uber就得更改原始碼,來在效能和精細的功能間取得平衡。

於是,為了在不開分支(Forking)的情況下善用Hadoop開源生態資源,Uber決定自己設置聯邦叢集。他們採用Hadoop的YARN Federation和HDFS Federation,目前也已建立了數十個HDFS叢集和一些YARN叢集,Uber主任工程師Zheng Shao甚至表示,這種基於路由的HDFS Federation,已經成為Uber大數據擴展工作的關鍵,更改善大數據平臺成本效益。

作法5:通用的負載平衡

接下來,Uber還想出一招,利用通用負載平衡概念,來提高HDFS和YARN表現。對HDFS來說,這可改善次節點DataNode的磁碟空間使用率,因為,每個DataNode會有不同的磁碟空間使用率,而每個DataNode中,HDD也會有不同的磁碟空間使用率,這些都得經過平衡調整,才能達到整體的高使用率。

對YARN來說,每臺機器的CPU和記憶體的使用率與資源分配,也都得經過平衡調整,才能提高整體使用率。Uber就從這些需求中,設計出通用負載平衡方法來解決問題,特別的是,這種方法不只限於大數據的HDFS和YARN,更能用於自家微服務負載平衡、主要儲存負載平衡等領域。

更細緻的作法:改善查詢引擎、Hudi專案

此外,Uber還有其他2種細緻的作法,來改善大數據平臺效率和成本效益。

首先是改善查詢引擎,Uber進行大數據分析時,採用多種查詢引擎,像是Hive-on-Spark、Spark、Presto等,這些引擎加上不同的儲存格式如Parquet、ORC,造成了複雜的運算,也增加平臺成本。

於是,Uber想出幾種方法來優化查詢引擎,包括盡量使用Parquet檔案格式、修剪巢狀列、優化常見的查詢模式。以使用Parquet格式來說,它雖然與ORC有相同的設計原則,但經過長時間觀察,Uber發現大數據平臺Spark對Parquet的支援更好,Presto則對ORC的支援較好。於是,大量使用Spark的Uber,決定將主力集中在Parquet上,如此一來,就能集中精力維護單一程式碼庫,也容易培養人才知識。

另一個改善大數據平臺效率的方法,則是Uber在2016年發起的Hudi專案。對Uber來說,他們常面臨資料增量處理問題,比如,使用者直到要再次叫車時,才會對上一次乘車的司機評價,又或是,某次乘車的信用卡退費,可能要一個月才能處理完。這就造成Uber大數據平臺使用者,得每天檢查好幾天前的舊資料,來更新手邊的查詢資訊,確保查詢結果是最新的。

而更有效率的處理方法是,每天更新這些增量資料的變化即可,這就是Hudi專案能做到的事。Uber坦言,至今,Hudi專案仍大幅降低運算量需求。

運算資源就像電力,靠後臺分擔前臺工作來節流

Uber的大數據平臺效率省錢術還沒結束。接下來,他們瞄準叢集運算資源,發起一項HydroElectricity專案,要利用例行性的後臺維運工作,來「擠出」額外運算資源。

因為,在Uber眼中,叢集運算資源就像電力,供應量是固定的,但往往難以應付突發的爆量。在能源領域,就有種蓄水發電方法,能將離峰時的多餘電能,以水的位能儲存,當用電尖峰來臨時,再用來發電。

Uber引用這個概念,讓優先性不高、可在背景執行的例行後臺工作,像是檔案壓縮、截圖維護、LSM壓縮等,也執行一些前臺工作,來降低CPU耗能。比如,原本大數據收穫系統需寫入ZSTD壓縮的Parquet格式檔案,完全由前臺執行就非常耗CPU資源,因此Uber計畫改為,讓收穫系統也寫入稍微壓縮的Parquet檔案,再由後臺維運工作,重新壓縮這些檔案。這麼做,就能大大降低前臺的CPU耗能。

不只要用後臺工作來節流,Uber接下來還要建立一個統一、通用的儲存系統,來處理線上系統和分析系統的查詢。他們也要制定計價機制,來將資源分配給真正需要的使用者,提高大數據平臺運用效率。

 Uber大數據平臺效益優化術 

1. 大數據檔案瘦身

2. HDFS抹除碼降低重複性資料

3. 改善YARN排程,提高叢集使用率

4. 用叢集聯邦提高擴充效能

5. 通用負載平衡,強化整體使用率

6. 查詢引擎優化,提高查詢效能

7. 每日更新增量變化,降低運算量需求

8. 靠後臺分擔前臺工作,減少前臺CPU需求

資料來源:Uber,iThome整理,2022年2月

 相關報導  


熱門新聞

Advertisement