環境 最大使用量を設定する 設定を確認する 環境 Linux(Ubuntu) 最大使用量を設定する 以下のコマンドで最大使用量を設定できます。ただ数値はKBなので、GBの場合は、1024 × 1024をする必要があります (例) 20GB = 20 × 1024 × 1024 = 20971520 ulimit -m 最…

初めに 環境 準備 ONNXに変換 bert-base-uncased rinna/japanese-gpt2-xsmall rinna/japanese-gpt-neox-3.6b-instruction-sft-v2 cyberagent/calm2-7b-chat モデルのサイズごとの使用メモリ量 初めに Web(transformers.js)やunityでLLMを使う際にフォーマッ…

初めに 環境 準備 モデルのロード 実行 サンプルテスト まどマギテスト 初めに SOLAR-10.7B has remarkable performance. It outperforms models with up to 30B parameters, even surpassing the recent Mixtral 8X7B model. と書かれているので、どのくら…

環境 準備 実行 まどマギテスト 富士山の高さは？ What American movies do you recommend that make you cry? 環境 Linux(ubuntu22.04) L4 GPU 準備 TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUFのtinyllama-1.1b-chat-v1.0.Q4_K_M.ggufを ダウンロードします l…