Nvidia新技術可減少20倍 AI-人工智慧 模型訓練資料量

 News from: NVIDIA

Nvidia利用ADA技術，降低10到20倍訓練生成對抗網路所需要的資料量，改善醫療保健等僅有少量訓練資料的人工智慧用例 。Nvidia發展新的資料增強技術，可以大幅減少訓練人工智慧模型所需要的資料量，研究人員僅使用來自大都會藝術博物館的一個小型資料集，就讓人工智慧模型能夠創造出，過去可能需要數萬，甚至可能超過10萬訓練圖像，才能產生的精美圖像結果，而這項研究成果可用於廣泛的領域上，包括醫療保健等應用。

Web site: https://blogs.nvidia.com/blog/2020/12/07/neurips-research-limited-data-gan/

Nvidia將一種稱為ADA（Adaptive Discriminator Augmentation）的技術，應用在生成對抗網路StyleGAN2模型上，使得訓練圖像的資料量，可大幅減少10到20倍，而且獲得同樣良好的效果。生成對抗網路（GAN）的特性之一，便是訓練資料越多，模型產生的結果越好，生成對抗網路由生成器（Generator）與判別器（Discriminator）兩個元件組成，生成器負責合成圖像，而判別器則要辨識出圖像真偽，並回饋有用的參數給生成器，使得生成器之後能夠產生更好的結果。

但是一旦訓練資料不足，判別器便無法提供生成器足夠的資訊產生好結果，就像是新手教練沒有夠多的經驗指導球員，球員也就難以精進球技一樣。因此生成對抗網路通常需要5萬到10萬的訓練圖像，才能訓練出高品質的模型，但問題是，在許多使用案例上，並沒有足夠多的樣本圖像可以取用，僅以數千張圖像訓練生成對抗網路，通常無法產生逼真的結果，而且會出現過適（Overfitting）的現象。

過去的研究也曾經以資料增強的方法，減少訓練生成對抗網路所需要的資料量，但是結果並不好，因為生成對抗網路反而學習了圖像旋轉變形等失真情形，無法產生逼真的合成圖像。而現在Nvidia所提出的ADA方法，可以適應性地應用資料增強方法，避免過適現象，而使得StyleGAN2等模型，可以使用更少的訓練圖像，並獲得良好的結果。

研究人員將這項結果應用在過去因為訓練資料太少，而難以實現的使用案例上，像是藝術家便使用StyleGAN進行創作，產生出各種精美繪畫，或是以傳奇插畫家Osamu Tezuka的風格，繪製新的漫畫，Adobe也應用該項技術，提供新的人工智慧工具Neural Filters。

研究人員也提到，該項技術還有望應用在醫療保健領域，因為罕見疾病的醫學圖像很少，而且每個案例差異度很大，要大量收集有用的病理切片資料集很困難，而使用ADA技術的生成對抗網路，則可改善這樣的問題。