はじめに 以下のように rinnaさんがチャット形式のハイスコア版 GPTQを公開されていたので、触ってみます rinnaはLlama 2の日本語継続事前学習モデル「Youri 7B」シリーズを公開しました。①Youri 7B：日英40Bトークンで継続事前学習②Youri 7B Instruction：…

はじめに 実行 はじめに huggingface.co が出たと聞いたので、動かしてみます！ 実行 !git clone https://github.com/ggerganov/llama.cpp.git %cd llama.cpp !wget https://huggingface.co/mmnga/japanese-stablelm-instruct-gamma-7b-gguf/blob/main/japan…

はじめに 環境 実行 準備 推論 エラーが出た時 Gitが入っていないと言われた場合 GPU RAMが足りないと言われ場合 はじめに 以下のツイートを見て、マルチモーダルの軽量LLMが出ていることを知ったので動かしてみます. 手元の環境では、量子化なしではGPU RAM…

初めに 環境 fine turning データの準備 学習 初めに 「一貫したキャラ性を持った回答をするAIを作りたい」「でもライセンスの問題もなくキャラ性を保ったままそれなりの規模があるデータセットなんて無い」「自分のツイートを使えばいいのでは」というわけ…

初めに 環境 動かしてる 初めに 超高速&格安LLMプラットフォームがあると言うことなので、Google Colobで試してみます note.com 環境 Google Colob CPUのみ(ハイメモリ) 動かしてる まずは必要なインストールをします !pip install --upgrade fireworks-ai i…