環境 Google Colob A100 準備 ライブラリをインストールします !pip install transformers==4.32.0 accelerate tiktoken einops transformers_stream_generator==0.0.4 scipy torchvision pillow tensorboard matplotlib 実行 ft16やbf16は対応していないっ…

はじめに Qwen/Qwen-72Bが公開されたのですが、動かせるGPU RAMがないため 以下の7B版を動かしてみます huggingface.co 環境 Goolgle Colob 準備 ライブラリをインストールします !pip install transformers==4.32.0 accelerate tiktoken einops scipy trans…

はじめに 環境 準備 推論 推論に必要なリソース はじめに 今更ですが、CALM2のAWQ版を動かしてみます。 huggingface.co 環境 Google Colob A100 (GPU RAMを25GB使うため、無料枠だと無理でした) 準備 必要なライブラリの追加します !pip -q install --upgrad…

初めに 環境 準備 推論 推論速度 推論時 GPU RAM 自然言語処理とは何か まどマギで一番可愛いキャラはなんですか？ 日本で一番高い山はなんですか？ 初めに (非商用ですが)性能がいいとのことなので、実際に試してみます Introducing new (synthetic) RLHF D…

はじめに ライブラリのインストール 実装 所感 はじめに こちらのポストを見て、単語からプロンプトを生成していてすごい！？となったので実際に動かしてみます 1girl, solopls try https://t.co/t0x6uqJr8z thx pic.twitter.com/ucKJy3c0t3— Linaqruf (@lin…

環境 準備 ライブラリの準備 tokenの準備 実装 テキストを送信する ファイル(画像)を送信する 環境 Python3.10 準備 ライブラリの準備 slackが公式に slack-sdk というライブラリを公開しているので、こちらをインストールします pip install slack-sdk toke…

はじめに 環境 準備 実行 英語 日本語 消費リソース はじめに TLを見ていたら、でていたので試してみます TinyLlama just released 1.5T Tokens version!Open Source is taking over the worldFind them here: https://t.co/TlQSdMAwDLhttps://t.co/pnBT3SAT…

はじめに 環境 実行 準備 結果 はじめに LLMや画像生成をするために，APIサーバーを作ろうとするとGoogle ColobやローカルPCを使うとサービス化およびpublic化が難しいためクラウドGPUを使用したいと考えていました。 その中で Modalをいうサービスを見つけ…