初めに 環境 準備 実行 モデルのロード サンプル画像のCLIPテスト つくよみちゃん画像のCLIPテスト 雰囲気のテスト 初めに 日本語に対応しているCLIPモデルが新しく出てきたので、試してみます blog.recruit.co.jp 環境 L4 GPU ubuntu22.04 準備 ライブラリ…

初めに デモ 開発環境 実装 環境を作る モデルのロードと初期化 STTのAPIの作成 初めに 音声認識をしたい場合whisperを使うことが多いですが、より速くより使いやすくしたいと思ってたので実装をしてみました！ DockerでCUDAのver管理やGPUも使えるようにし…

初めに 環境 準備 実行 モデルのロード サンプルプロンプト まどマギプロンプト 初めに DPOを採用したチューニングでスコアが上がったとのことなので触ってみます CALM2をDirect Preference Optimization (DPO)でチューニングしたモデル calm2-7b-chat-dpo …

はじめに 成果 参考記事からの変更点 環境 環境設定 データセットの構築 トークナイザー準備 事前学習 学習用のパラメータの設定 事前学習の実行 推論 モデルをhuggingfaceにアップグレードする ライブラリのインストールとログイン モデルのアップロード は…

初めに 環境 準備 実行 サンプルプロンプト まどマギプロンプト 初めに Stability AIから1.6Bでパフォーマンスがいいモデルが出たみたいなので、触ってみます Today, we’re releasing Stable LM 2 1.6B, a state-of-the-art 1.6 billion parameter small lan…

初めに 環境 準備 実行 モデルのロード サンプルプロンプト find cpu number fanction Unityのコード補正 初めに コードの補正LLMが出たので、触っていきます Stable Code 3Bが登場！30億パラメータの大規模言語モデルで、コード補完が今までにないスピード…

環境 問題 解決方法 環境 Unity 2023.2.4f1 VRM v0.117 つくよみちゃん 3Dモデル のほしお式 manifest.jsonに以下を追加済み "com.vrmc.vrmshaders": "https://github.com/vrm-c/UniVRM.git?path=/Assets/VRMShaders#v0.117.0", "com.vrmc.gltf": "https://g…

初めに 環境 準備 cloneとライブラリのインストール 必要なフォルダの作成 config ファイルを作成 LLMのマージ オプション モデルをhuggingfaceに公開 モデルカードの作成 モデルのアップロード 初めに 自分でもMoEが作れるみたいなので、実際にやってみます…

初めに 環境 準備 実行 サンプルプロンプト(翻訳) まどマギプロンプト 初めに 日本語のモデルのMoEが出たので、触ってみます mergekitを使ってMoEモデルを作ってみました。・rinna/youri-7b-instruction・rinna/youri-7b-chatchatモデルとinstructionモデル…

初めに 環境 開発環境 モデル等の環境 準備 WebUI実行 学習の設定と実行 学習結果 評価 Chat結果 備考 初めに microsoft/phi-2はSLMで小さい言語モデルで、fine tuningをすればかなり使い勝手がいいということなので、実際にやってみます。 以下のサイトを基…

環境 参考サイト 準備 ライブラリのインストール qlora.pyの変更 学習 学習したモデルで推論 備考 ValueError: Tokenizer class GPTNeoXTokenizer does not exist or is not currently imported.のエラー対応 環境 L4 GPU ubuntu22.04 学習データ bbz662bbz/…

初めに 環境 準備 実行 モデルのロード サンプルプロンプト まどマギ まどマギQA 初めに With the recent release of #TinyLlama, SLMs have attracted a lot of attention. I re-released my previously trained SLM - LiteLlama under the MIT license, wh…

初めに 環境 準備 マージ元のモデルの定義 モデルのマージ モデルをhuggingfaceにアップロードする マージしたモデルを動かす モデルのロード 続きの推論 まどマギテスト 初めに LLMのマージがより簡単にできるライブラリが公開されたので触っていきます git…

初めに 環境 準備 推論 モデルのロード サンプルプロンプト まどマギプロンプト まどマギで一番可愛いキャラはなんですか？ 初めに 高校生の方がマージモデルを公開されたということなので、触っていきます calm2-7bの1~24層、8~32層をslerpマージしたbaku-1…

はじめに Demo 環境 ライセンス認証 ビルドの自動化 テストの自動化 はじめに 昔にGameCIを使ってGitHub Actions上でUnityのテストやビルドの自動化をする記事を書きました。しかし、UnityのLicense認証周りが変わったことで以下では動かなくなっていたため…

huggingface_hub CLIをインストール リポジトリの作成 huggingfaceにlogin フォルダのアップロード データセットのリポジトリにアップロードする場合 参考 huggingface_hub CLIをインストール huggingface.co pip install -U "huggingface_hub[cli]" リポジ…

環境 最大使用量を設定する 設定を確認する 環境 Linux(Ubuntu) 最大使用量を設定する 以下のコマンドで最大使用量を設定できます。ただ数値はKBなので、GBの場合は、1024 × 1024をする必要があります (例) 20GB = 20 × 1024 × 1024 = 20971520 ulimit -m 最…

初めに 環境 準備 ONNXに変換 bert-base-uncased rinna/japanese-gpt2-xsmall rinna/japanese-gpt-neox-3.6b-instruction-sft-v2 cyberagent/calm2-7b-chat モデルのサイズごとの使用メモリ量 初めに Web(transformers.js)やunityでLLMを使う際にフォーマッ…

初めに 環境 準備 モデルのロード 実行 サンプルテスト まどマギテスト 初めに SOLAR-10.7B has remarkable performance. It outperforms models with up to 30B parameters, even surpassing the recent Mixtral 8X7B model. と書かれているので、どのくら…

環境 準備 実行 まどマギテスト 富士山の高さは？ What American movies do you recommend that make you cry? 環境 Linux(ubuntu22.04) L4 GPU 準備 TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUFのtinyllama-1.1b-chat-v1.0.Q4_K_M.ggufを ダウンロードします l…

初めに 環境 準備 コードの作成 推論 結果 tokens = 3の場合 tokens = 100の場合 まとめ 初めに MacでLLMで動くライブラリ「AirLLM」があると聞いたので、実際に試してみます github.com 参考サイト note.com 環境 CPU : M1Max Mac メモリ : 64GB モデル : e…

はじめに 環境 準備 cmakeの環境作成 llama.cppの環境作成 モデルのダウンロード llama.cppの動作確認 llama.cppをサーバーとして実行 Unityに必要なライブラリの追加 レスポンスのクラスの作成 Unityからllama.cppに対してAPIを叩く llama.cppのGPUオフロー…