Microsoft 微軟和OpenAI合作，在Azure上打造超級電腦

Microsoft 微軟和OpenAI合作，在Azure上打造超級電腦

News from: iThome & Microsoft AI blog.

微軟為OpenAI發展的超級電腦，是一套包含28.5萬CPU核心、1萬顆GPU及每臺GPU伺服器每秒400 gigabits的網路連線，強調其規格和世界五百大超級電腦相比，名列全球第5。微軟周二在Build 2020開發者大會上宣布，和AI業者OpenAI聯手在Azure建立起比美全球第5大的超級電腦。

這項合作是去年7月微軟和OpenAI通用人工智慧（Artificial General Intelligence，AGI）合作計畫的結果。微軟除了投資OpenAI 10億美元外，雙方也將攜手開發全新的Azure AI超級運算技術，讓微軟成為OpenAI的獨家雲端供應商，並借重OpenAI訓練建立大型AI模型的能力，在Azure上訓練與執行各種AI模型，特別是發展能從事多工任務的大規模AI模型。

Web site: https://blogs.microsoft.com/ai/openai-azure-supercomputer/





而訓練大規模AI模型需要進階的超級電腦，微軟說，為OpenAI發展的超級電腦是一套包含28.5萬CPU核心、1萬顆GPU及每臺GPU伺服器每秒400 gigabits的網路連線。以其規格和世界五百大超級電腦比較，已經名列全球第5，同時由於架構在Azure上，這臺超級電腦還獲得其他現代雲端的好處，像是部署快速、高可續性及可使用Azure多種服務。

目前世界超級電腦名單上第5名的，是座落於德州進階運算中心的Dell系統，浮點運算測試速度達23.5 petaflops。至於第一名則為美國能源部旗下橡樹嶺國家實驗室（Oak Ridge National Laboratory）的Summit，採用IBM Power 9 CPU及Nvidia Tesla V100 GPU，浮點運算測試結果為148.6 petaflops。

微軟也宣布開發出自有大型AI模型家族，稱為微軟圖靈模型（Microsoft Turing Model），主要用於改善Bing、Office、Dynamic及其他生產力軟體的多語言理解能力。今年二月微軟將用於自然語言產生的圖靈模型釋出給研究人員，號稱是全球最大的公開AI模型。微軟將開源自家圖靈模型下及在Azure Machine Learning服務下訓練方法，供開發人員取用多種語言模型。

微軟還公布新版開源PyTorch深度學習函式庫DeepSpeed，可加速大型分散式模型訓練速度。新版本會比不使用DeepSpeed的情況下速度快10倍，規模也大15倍。此外，微軟也宣布其推理引擎ONNX Runtime支援分散式訓練，結合DeepSpeed最佳化，可使模型訓練效能較現有版ONNX Runtime提升17倍。