サーバーレスGPU実行環境

GPUの種類と枚数をコードで指定してデプロイすると、東京の拠点のGPUでコンテナが起動します。

サーバーレスGPU実行環境

GPUの種類と枚数、実行する環境(Dockerfile)をコードに書いてデプロイします。コマンド1つで、指定したGPUの上にコンテナが起動します。

app.pyPython
# GPUの種類と枚数を指定するだけ
@app.function(
    image="./Dockerfile",
    instance="b300",
    gpus=2,
    region="jpty01",
)
def generate(prompt: str):
    return model.generate(prompt)
  • $ hellocloud deploy app.pyコマンド1つでデプロイ
  • ✓ B300 × 2 · JPTY01コンテナの数を自動で増減
  • サーバーの準備が不要GPUの調達やクラスターの構築を待たずに始められます。サーバーの台数や設定を管理する必要もありません。
  • 台数を見積もらずに済む処理の負荷に合わせてコンテナの数を自動で増減するため、台数を前もって見積もる必要がありません。料金は、GPUが動いた時間の分だけです。
  • 手元で組んだ環境をそのまま実行依存ライブラリをコンテナイメージにまとめ、コードと一緒にデプロイできます。GPUの上でも、手元と同じ環境で動きます。

推論API・コンテナの実行環境・GPUの仮想マシンの3つから、自社で用意するものと任せたい範囲に合わせて選べます。

横にスワイプして比較

3つのサービスの比較
サーバーレスGPU実行環境ZDR routerVM
使い方コードをデプロイしてコンテナを実行APIを呼び出すSSHで接続して操作
動かすモデル自社のモデルとコードHelloCloudが提供するモデル自社のモデルとコード
GPUの種類と枚数コードで指定指定しない選んで作成
お客様が用意するものコードとコンテナイメージAPIを呼び出すコードOS・コンテナ・学習のコード
HelloCloudが受け持つものGPU・サーバー・コンテナの増減GPU・モデル・推論サーバーGPU・ネットワーク・監視
料金の決まり方GPUの秒単価 × 枚数 × 動いた秒数月額の定額か、トークン数の従量GPUの時間単価 × 枚数 × 時間
処理する場所東京のJPTY01 / JPTY02Kimi K3以外は自社保有のGPU東京のJPTY01 / JPTY02
向いている用途自社のモデルの推論・バッチ処理社内のAIチャット・コーディングの支援学習・ファインチューニング・検証

ZDR routerのKimi K3は、TEE(信頼できる実行環境)を用いた分散GPUで動かすため、ノードの所在国は特定できません。

料金は、GPUの秒単価と枚数、動いた秒数で決まります。

金額はGPU1枚・1秒あたりの参考価格です。コードの例のB300 × 2枚なら、1秒¥0.6(1時間¥2,160)です。動かす拠点は東京のJPTY01 / JPTY02です。課金の最小単位と指定できる枚数の上限は、担当者よりご案内いたします。

  • 向いている使い方

    • 自社で学習したモデルの推論を、負荷に合わせて動かす
    • 画像や音声のバッチ処理を、サーバーを用意せずにGPUで実行する
    • 学習や評価の処理を、コードに指定したGPUの上で繰り返す
  • 向いていない使い方

    • HelloCloudが提供するモデルをAPIで呼び出す

      コンテナイメージとコードを用意する必要があります。公開されたモデルをAPIで呼び出すだけなら、ZDR routerのほうが早く始められます。

      ZDR routerを見る
    • OSから環境を組み、同じ環境で長く作業する

      設定できるのはコンテナイメージの中までです。OSから環境を組み、SSHで接続して作業を続けるなら、VMが向いています。

      VMを見る

データはどこで処理されますか?
東京の2拠点(JPTY01 / JPTY02)のGPUで処理します。データも処理も国内で完結し、国外のリージョンを経由しません。
どのGPUを指定できますか?
RTX PRO 6000とB300から選べます。コードに種類と枚数を指定すると、そのGPUでコンテナが起動します。
実行環境はどのように用意しますか?
依存ライブラリをDockerfileで指定し、コンテナイメージにまとめてコードと一緒にデプロイします。
固定の契約期間はありますか?
ありません。GPUを動かした時間の分だけお支払いいただき、いつでも利用を止められます。