高通量計算基礎理論

與傳統高性能計算以高速度為設計目標相比，高通量計算的核心是追求高通量，即算得多。具體包括?3?個核心要素，即高吞吐、高利用率、低延遲。

高吞吐。是指單位時間完成的任務數或者響應的請求數要多。對于互聯網應用場景來說，數據中心的一個核心挑戰是要實時響應海量的并發用戶請求。以?2018?年天貓“雙?11”全球狂歡節為例，其實時數據處理峰值超過?6?億條／秒，支付成功峰值超過?30?萬筆／秒，數據中心必須充分挖掘各種并行性以應對如此巨大的實時并發處理需求。

高利用率。是指計算機系統中的核心部件（如?CPU、存儲器、網絡等）的利用率要高。當前大型數據中心通常包括數十萬臺甚至百萬臺服務器，建設資金則高達數十億甚至百億美元。然而，為了確保用戶的服務質量，現有數據中心不得不將利用率控制在較低水平，因此整體利用率情況很不理想。公開數據顯示，2013?年谷歌數據中心的平均?CPU?利用率只有30％，而其他互聯網公司運營的數據中心的利用率甚至比該值還要低?？梢娫诂F有的架構下，要做到既能實時滿足用戶處理需求，同時又能達到高的利用率，是非常困難的。

低延遲。指用戶請求的響應時間要短?；ヂ摼W上的大部分在線服務具有明顯的實時交互特征，數據中心必須確保在給定的實時性約束條件滿足的情況下返回結果，否則會導致服務的失效。比如一些圖像識別或者語音翻譯之類的人工智能（AI）應用場景，通常要求響應時間在毫秒級別，這對于當前的計算機系統來講是一個巨大挑戰。

針對上述高吞吐、高利用率、低延遲的設計需求，我們提出一個基于“系統熵”的通量分析模型?。系統熵主要受延遲的不確定性（波動情況）、資源利用率和吞吐量?3?個因素影響。簡單來講，系統熵與延遲的波動幅度成正比，與資源利用率以及系統吞吐量成反比。因此，延遲波動越大，系統熵越大；資源利用率越高、吞吐量越大，則系統熵越小。類似于“熱力學熵”的用法，我們通過“系統熵”可以反映計算機系統中的易擾動程度或者不確定性。

“熵者，傷也?！备哽叵到y往往開銷大、成本高。相比于高熵系統，低熵系統具有更優的可預測性，能達到更高的效率、更低的成本，也更受用戶青睞。曾有人問美國能源部副部長斯蒂文?·?庫寧（Steven Koonin），為什么電能如此受到人們的喜愛？他回答道，因為電力是一種低熵能源。前文提到，為了確保用戶服務質量，現有的數據中心的?CPU?平均利用率很低，一旦利用率提高，其負載性能的波動幅度將迅速增大。因此，當前數據中心計算系統仍然是高熵系統。而高通量計算機的核心目標就是要降低系統熵，也即降低系統的不確定性；以及通過高通量計算機實現提高系統利用率和任務吞吐量的同時，避免應用的性能波動。

相關文章