サーバーレスGPU実行環境
GPUの種類と枚数、実行する環境(Dockerfile)をコードに書いてデプロイします。コマンド1つで、指定したGPUの上にコンテナが起動します。
# GPUの種類と枚数を指定するだけ
@app.function(
image="./Dockerfile",
instance="b300",
gpus=2,
region="jpty01",
)
def generate(prompt: str):
return model.generate(prompt)$ hellocloud deploy app.pyコマンド1つでデプロイ✓ B300 × 2 · JPTY01コンテナの数を自動で増減
- サーバーの準備が不要GPUの調達やクラスターの構築を待たずに始められます。サーバーの台数や設定を管理する必要もありません。
- 台数を見積もらずに済む処理の負荷に合わせてコンテナの数を自動で増減するため、台数を前もって見積もる必要がありません。料金は、GPUが動いた時間の分だけです。
- 手元で組んだ環境をそのまま実行依存ライブラリをコンテナイメージにまとめ、コードと一緒にデプロイできます。GPUの上でも、手元と同じ環境で動きます。
