科技媒体smartprix昨日发布博文，报道称OpenAI在介绍GPT-4.5模型的视频中，意外泄露了GPT-6训练可能需要的GPU数量，暗示其规模将远超以往。在GPT-4.5模型介绍视频的2分26秒处，OpenAI展示GPT 4.5功能的聊天记录中，出现了“Num GPUs for GPT 6 Training”（训练 GPT-6 所需的 GPU 数量）的字样。

虽然视频中未对此进行任何解释，但“Num”可能暗示了一个前所未有的数字，该媒体推测高达10万块 GPU。

此前有消息称，OpenAI在训练GPT-3时使用了约1万块GPU，而随着模型的不断迭代，对计算资源的需求也在不断增加。

内部代号为“Orion”的GPT 4.5在自然度和减少“幻觉”方面取得了重大进展，其参数量可能超过3到4万亿。据推测，GPT 4.5的训练使用了3万到5万块 NVIDIA H100 GPU，训练成本约7.5亿到15亿美元。

截图中“Num”的含义尚不明确，它可能代表“Numerous”（大量），暗示GPT-6的训练规模远超以往。当然，这也有可能只是OpenAI的一个烟雾弹，就像之前用“Strawberry”（草莓）作为o1系列的代号一样。 】

【资料来源】

OpenAI GPT-6训练规模将创历史新高！预估10万张H100 GPU，AI训练成本达天文数字！