什麼是高效能運算 (HPC)?

高效能運算 (HPC) 意指聚總運算能力的做法,與傳統電腦和伺服器相比,可提供更高的馬力。HPC 或超級運算就像日常運算一樣,只不過功能更強大。它是使用多台電腦和儲存裝置作為一個凝聚的結構,以非常高的速度處理大量資料的一種方法。HPC 讓您可以探索並尋找世界上最大科學、工程與企業問題的解答。

現今,HPC 可用來解決複雜且效能密集的問題,而組織則越來越常將 HPC 工作負載移轉至雲端。雲端 HPC 正改變產品開發與研究的經濟效益,因為它需要較少的原型、加速測試,以及縮短上市時間。

HPC 如何運作?

某些工作負載 (例如 DNA 序列) 不只是為了處理任何單一電腦而強制使用。HPC 或超級運算環境可因應這些龐大而複雜的挑戰,而個別節點 (電腦) 可在叢集 (連線的群組) 中共同運作,在短時間內執行大量運算能力。建立和移除這些叢集時,通常會在雲端自動化,以降低成本。

HPC 可以在許多工作負載上執行,但最常見的是類似的平行工作負載和緊密結合的工作負載

尷尬平行工作負載

計算問題是否區分為小型、簡單且獨立的工作,可以同時執行,通常只需要少量或完全沒有它們之間的通訊。例如,公司可能會將 1 億筆信用卡記錄提交至節點叢集中的個別處理器核心。處理一筆信用卡記錄是小型作業,當跨叢集分攤 1 億筆記錄時,這些小型作業可以同時執行 (平行) 令人驚豔的速度。一般使用案例包括風險模擬、分子模型製作、相關內容搜尋及物流模擬。

緊密結合的工作負載

通常會採用較大的共用工作負載,並將它細分為持續通訊的較小工作。換句話說,叢集中的不同節點會在執行處理時彼此通訊。一般使用案例包括計算流體動力學、天氣預測模型、原物料模擬、汽車碰撞模擬、地理空間模擬及流量管理。

HPC 的重要性為何?

HPC 數十年來是學術研究與產業創新的重要環節。HPC 可協助工程師、資料科學家、設計人員及其他研究人員,以比傳統運算更少的時間和成本,解決複雜的問題。

HPC 的主要優點包括:

  • 減少實體測試:HPC 可用來建立模擬,無需進行實體測試。例如,測試汽車事故時,產生模擬比執行故障測試更為簡單且成本更低。
  • 速度:藉由與全快閃本機和區塊儲存裝置,例如遠端直接記憶體存取 (RDMA) 等的最新 CPU、圖形處理單元 (GPU) 和低延遲網路架構,HPC 可以在幾分鐘內執行大量計算,而不需耗費數週或數月的時間。
  • 費用:更快的答案意謂著浪費時間與金錢。此外,借助雲端 HPC,即使是小型企業和新創公司也能負擔執行 HPC 工作負載,只需依據使用量付費,還可視需要縱向擴展。
  • 創新:HPC 推動了幾乎每個產業的創新,是開創創新科技創新背後的強大力量,有效提升了世界各地人民的生命品質。

HPC 使用案例 - 哪些產業使用高效能運算?

Fortune 1000 家各產業公司使用 HPC,其知名度正在成長。Hyperion Research 指出,全球 HPC 市場預期在 2022 年達到 440 億美元。

以下是一些使用 HPC 的產業,以及工作負載 HPC 的類型,協助這些產業執行:

  • 航太:建立複雜的模擬,例如飛過飛機翅膀的氣流
  • 製造:執行模擬 (例如用於自治駕駛的模擬) 來支援新產品的設計、製造及測試,進而產生更安全性的汽車、更輕的零件、更有效率的流程和創新
  • 金融科技 (fintech):執行複雜的風險分析、高頻率交易、財務模型製作及詐騙偵測
  • 基因組學:排序 DNA、分析藥物互動,以及執行蛋白質分析以支援動物研究
  • 醫療照護:研究藥物、製造疫苗,以及開發罕見及常見疾病的創新治療
  • 媒體與娛樂:建立動畫、為影片帶來特效、轉譯大型媒體檔案,以及建立沉浸式娛樂
  • 油氣:執行空間分析及測試水庫模型,以預測油氣資源位於何處,並執行模擬 (例如流體流量和地震處理)
  • 零售業:分析大量客戶資料,以提供更有目標的產品建議及更好的客戶服務
哪些產業使用高效能運算影片縮圖

HPC 的執行位置為何?

HPC 可以在內部部署環境、雲端中,或是在涉及其中部分混合式模型中執行。

在內部部署的 HPC 部署中,企業或研究機構會建置 HPC 叢集,其中包括可隨時間管理和升級的伺服器、儲存解決方案和其他基礎架構。在雲端 HPC 部署中,雲端服務提供者會管理員及管理基礎架構,並且組織會以隨用隨付的隨用隨付模型的方式使用此基礎架構。

有些組織使用混合式部署,尤其是投資於內部部署基礎架構,但也想要利用雲端的速度、彈性及節省成本。他們可以使用雲端持續執行部分 HPC 工作負載,並在每次佇列時間成為就地部署問題時,以特別基準開啟雲端服務。

執行 HPC 的位置的影片縮圖

內部部署 HPC 部署有哪些挑戰?

具有內部部署 HPC 環境的組織可獲得大量的營運控制權,但必須面對數個挑戰,包括

  • 投資須持續升級的運算設備資本
  • 持續管理及其他營運成本支付
  • 使用者執行 HPC 工作負載之前的延遲天數或佇列時間 (特別是當需求發生時) 較長的時間
  • 由於長期採購週期,可延後升級至更強大且高效率的運算設備,進而減緩研究與業務的步伐

隨著內部部署環境的成本和其他挑戰,雲端 HPC 部署正變得越來越受歡迎,市場研究未來預期 2017 年至 2023 年全球市場成長將有 21%。企業在雲端執行 HPC 工作負載時,只需依使用量付費,也能視需要隨時變更,快速提升或縮減所需費用。

為了贏得並留住客戶,頂尖的雲端提供者可維護特別針對 HPC 工作負載封存的頂尖技術,因此與內部部署設備生命週期相比,效能絲毫不減。雲端提供者提供最新、最快速的 CPU 和 GPU,以及低延遲的快閃儲存空間、快閃電的 RDMA 網路,以及企業級安全性。整天 (每天都有小型或無佇列時間) 都提供服務。

HPC 雲 - 選擇雲端環境時的重要考量為何?

未建立所有雲端提供者相同。有些雲端並非針對 HPC 所設計,也無法在高峰期內提供最佳效能。選取雲端提供者時要考量的四個特性

  • 頂尖效能:您的雲端提供者應具備及維護最新一代的處理器、儲存及網路技術。請確定提供大量容量和最佳效能,滿足或超出內部部署的一般效能。
  • 體驗 HPC:您選取的雲端提供者應該有為各種從屬端執行 HPC 工作負載的深度體驗。此外,雲端服務也應封存,提供最佳效能,即使在尖峰期間 (例如執行多個模擬或模型時)。在許多情況下,裸機電腦執行處理與虛擬機器相比,可提供更一致且強大的效能。
  • 靈活切換與轉變:您的 HPC 工作負載必須與內部部署環境相同,相同。將工作負載原封不動移轉至雲端之後,「原樣」就在原封不動移轉作業中,下一週執行的模擬就必須與 10 年之前執行的模擬產生一致的結果。在產業中,必須運用相同的資料和運算來進行逐年比較,這點非常重要。例如,空氣動力學、汽車及化學的計算並未變更,結果也無法變更。
  • 不隱藏費用:雲端服務通常會以隨用隨付的隨用隨付模式提供,因此請務必確實了解每次使用服務時將支付的費用。但許多使用者通常都因為輸出資料移動而感到驚訝,或覺得自己必須支付每一筆交易以及資料存取要求的費用,但輸出費用卻很容易被忽略。

取得您想要的結果

一般而言,最適合尋找提供更多控制與效能的裸機雲服務。與 RDMA 叢集網路結合,裸機 HPC 與內部部署類似的硬體相比,提供您相同的結果。

HPC 的未來是什麼?

多個產業的業務和機構正轉向 HPC,推動未來數年的成長。全球 HPC 市場預期將於 2017 年將 310 億美元擴大至 2023 年 500 億美元。由於雲端效能持續提升且變得更可靠和強大,因此大多數的成長預期都是雲端 HPC 部署項目,能夠協助企業投資數百萬的資料中心基礎架構和相關成本。

在不久的將來,預期會看到巨量資料和 HPC 轉換,而且具有相同的大型電腦叢集,可用來分析巨量資料和執行模擬和其他 HPC 工作負載。隨著這兩個趨勢的融合,每個趨勢的運算能力和能力都將愈來愈多,使研究和創新變得愈發不起。