2023-12-19から1日間の記事一覧
はじめに 準備 推論 モデルのロード プロンプトから推論 結果 はじめに 準備 !pip install torch !pip install transformers !pip install sentencepiece !pip install accelerate !pip install protobuf 推論 モデルのロード import torch from transformer…
はじめに 環境 準備 推論 推論サーバー 推論APIを叩く 結果 使用リソース 備考 はじめに 以下のLLMを動かしていきます huggingface.co GitHubは以下みたいです github.com 環境 Linux CLI GPU (L4 GPU : GPU RAM 24GB) 準備 conda create -y --name openchat…
