初めに 環境 準備 マージ元のモデルの定義 モデルのマージ モデルをhuggingfaceにアップロードする マージしたモデルを動かす モデルのロード 続きの推論 まどマギテスト 初めに LLMのマージがより簡単にできるライブラリが公開されたので触っていきます git…

初めに 環境 準備 推論 モデルのロード サンプルプロンプト まどマギプロンプト まどマギで一番可愛いキャラはなんですか？ 初めに 高校生の方がマージモデルを公開されたということなので、触っていきます calm2-7bの1~24層、8~32層をslerpマージしたbaku-1…

はじめに Demo 環境 ライセンス認証 ビルドの自動化 テストの自動化 はじめに 昔にGameCIを使ってGitHub Actions上でUnityのテストやビルドの自動化をする記事を書きました。しかし、UnityのLicense認証周りが変わったことで以下では動かなくなっていたため…

huggingface_hub CLIをインストール リポジトリの作成 huggingfaceにlogin フォルダのアップロード データセットのリポジトリにアップロードする場合 参考 huggingface_hub CLIをインストール huggingface.co pip install -U "huggingface_hub[cli]" リポジ…

環境 最大使用量を設定する 設定を確認する 環境 Linux(Ubuntu) 最大使用量を設定する 以下のコマンドで最大使用量を設定できます。ただ数値はKBなので、GBの場合は、1024 × 1024をする必要があります (例) 20GB = 20 × 1024 × 1024 = 20971520 ulimit -m 最…

初めに 環境 準備 ONNXに変換 bert-base-uncased rinna/japanese-gpt2-xsmall rinna/japanese-gpt-neox-3.6b-instruction-sft-v2 cyberagent/calm2-7b-chat モデルのサイズごとの使用メモリ量 初めに Web(transformers.js)やunityでLLMを使う際にフォーマッ…

初めに 環境 準備 モデルのロード 実行 サンプルテスト まどマギテスト 初めに SOLAR-10.7B has remarkable performance. It outperforms models with up to 30B parameters, even surpassing the recent Mixtral 8X7B model. と書かれているので、どのくら…

環境 準備 実行 まどマギテスト 富士山の高さは？ What American movies do you recommend that make you cry? 環境 Linux(ubuntu22.04) L4 GPU 準備 TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUFのtinyllama-1.1b-chat-v1.0.Q4_K_M.ggufを ダウンロードします l…

初めに 環境 準備 コードの作成 推論 結果 tokens = 3の場合 tokens = 100の場合 まとめ 初めに MacでLLMで動くライブラリ「AirLLM」があると聞いたので、実際に試してみます github.com 参考サイト note.com 環境 CPU : M1Max Mac メモリ : 64GB モデル : e…

はじめに 環境 準備 cmakeの環境作成 llama.cppの環境作成 モデルのダウンロード llama.cppの動作確認 llama.cppをサーバーとして実行 Unityに必要なライブラリの追加 レスポンスのクラスの作成 Unityからllama.cppに対してAPIを叩く llama.cppのGPUオフロー…