超並列処理ってどれくらい超越しているの? |
| |
「超並列処理」は文脈によってかなり幅があります。 例えば一般的なサーバだと、 なら16個前後の処理を同時実行できます。 これは普通の並列処理。 一方、クラウドやGPUの世界になると桁が変わります。 例えばGPUは、 を持っています。 AI学習では、 のような構成もあります。 すると理論上は数百万〜数千万単位の演算が同時進行します。 AWSの例例えばLambdaは、 なので、 を並列処理する設計が可能です。 MapReduce系やEMRでは、 で巨大データを分割処理します。 「超並列」がすごい理由例えば1億件のデータを処理するとして、 1台で1秒1000件なら: かかる。 でも1000台で完全並列なら: まで短縮できる。 もちろん実際は通信や同期のオーバーヘッドがあるので理想通りにはなりません。 現代のAIでの規模感最先端のAI学習では、 規模が使われることがあります。 これは昔のスーパーコンピュータ級です。 なので「超並列処理」という言葉は、 ではなく、 を指すことが多いです。 |
|
|
【下記、広告です。クリックいただけると励みになります。】







