NVIDIA V100の4枚構成じゃダメなんですよ

知人が自宅で生成AI環境を構築していると聞いた。

今のIT業界は、ちょっとした生成AIブームだ。我が家でも父ちゃんの三文小説とか、お嬢様の絵を素材としてグレードアップできるかもしれないと期待度が高まっている。将棋にAIが導入されて、将棋界のレベルがアップしたのと同じことを期待している。

「生成AIを使いこなせれば、今よりも自分の作品レベルを上げることができる」

そんな訳でNVIDIAのP40を二枚ほど調達した。本当はNVIDIのA100を二枚購入したかったけれどもあきらめた。何しろ最近はeBayでさえ、一枚200万円を超えているからなあ。

さてここからが本題だけれども、「それじゃあどうして旧世代のV100を4枚購入しないの。最新H100やA100は80GBだけれども、V100だって32GBでしょ。32GB x 4 = 128GBで、80GB x 4 = 160GBと互角に近くなるんじゃないの？ GeForceだって同じことなんじゃないの？」

結論からいうと、その通りだけれども、そうじゃないのだ。我が家ではV100などを4枚構成にすることは無理だ。P40の8枚構成を実現できれば、すごくコスパの良いAIスパコンを構築できるんだけどね。

さてどうして我が家では無理かというと、それは消費電力の問題だ。高性能GPUはフル稼働している時に250Wを必要とする。2台で500Wである。ただしGPUだけじゃ動作しないから、パソコン … コンピュータ全体としての消費電力を考える必要がある。

一般にGPU二枚刺しの時には、電源装置は1,000W以上、1,200W出力くらいのタイプが望ましいと言われている。100Vだと12Aだ。実はここら辺が家庭用AIスパコンの限界なのだ。

いえね、たとえ契約アンペア数を増やしたとしても、屋内ケーブルにも限界があるのだ。聞くところによると、だいたい15Aくらいを最大電流として設計されているのだそうだ。それを超えて長時間利用していると、環境によっては発火トラブルになってしまうとのことだ。

だからNVIDIA V100の4枚構成じゃダメなのだ。水冷4枚構成の強者たちが存在するけれども、実はけっこうギリギリの勝負をしているという訳だ。何しろ250W x 4 = 1,000Wだからねえ。

そんな訳で正統的なアプローチをとろうとすると、アジの開きを魚屋で注文するみたいに、「おじさん、NVIDIA A100を2枚ちょーだい！」ということになる訳だ。今はそれだと500万円くらいで、ちょっと手が出ませんなー

そんなところで、では。

————————-
記事作成：小野谷静(オノセー)