初めに デモ 開発環境 準備 実装 初めに WADA SNRを使って音声の評価ができるみたいなので、以下を使って実際に試してみます gist.github.com デモ 実行すると以下のようなログが表示されます Calculated SNR: 13.775574879980502 開発環境 Windows 11 Pytho…
初めに 環境 準備 実行 初めに TTSのデータセットにはクリーンな音声が必要ですが、クリーンな音声を集めるためには労力がかなり大変になります。 以下はGoogle が発表した劣化した音声を高品質に変換する音声復元(SR)技術です。今回はこちらの再現リポジト…
初めに デモ 開発環境 準備 文字お越し及びファイル保存 エラー対応 CUDAがenabledになっていない場合 ReazonSpeech/pkg/nemo-asrのインストールが失敗する 参考サイト 初めに STTやTTSの学習等をする際に文字データが必要になるのですが、音声だけある場合…
初めに わかっている人向け デモ 開発環境 環境の準備 データセットの準備 データの配置 前処理の実行 事前学習の開始 pthをsafetensorsに変換する マルチGPUで学習をする場合 初めに Style-Bert-VITS2は、日本語におけるアクセントなどの改善によりTTSでは…
初めに 環境 準備 実行 初めに 以下を試してみます huggingface.co 環境 L4 GPU(Jupyter Notebook) ubuntu22.04 準備 以下のライブラリを入れます !pip install transformers bitsandbytes accelerate モデルのダウンロードをします # pip install bitsandby…
初めに 開発環境 データ準備 datasetsを使ったローカルのjsonのロード 初めに 以下のようにQLoRAを使ってfine turningを行いましたが、独自データを使いたい場合の適当方法についてやってみます ayousanz.hatenadiary.jp 開発環境 cuda:12.2.0-base-ubuntu22…
環境 準備 実行 環境 python 3.11 準備 以下のライブラリをインストールします pip install pyarrow pip install pandas 実行 import pandas as pd # 既にあるDataFrameをParquet形式で保存します。 file_path = "./data.parquet" # Parquetファイルを読み込…
初めに 環境 準備 実行 初めに 35,000時間のコーパスである「ReazonSpeech v2 コーパス」が公開されたので、実際にどのようなデータが入っているのかを確認したいと思います。 prtimes.jp 環境 Google Colob (CPU) 準備 必要なライブラリを入れていきます !p…
初めに 環境 準備 実行 モデルのロード サンプル画像のCLIPテスト つくよみちゃん画像のCLIPテスト 雰囲気のテスト 初めに 日本語に対応しているCLIPモデルが新しく出てきたので、試してみます blog.recruit.co.jp 環境 L4 GPU ubuntu22.04 準備 ライブラリ…
初めに デモ 開発環境 実装 環境を作る モデルのロードと初期化 STTのAPIの作成 初めに 音声認識をしたい場合whisperを使うことが多いですが、より速くより使いやすくしたいと思ってたので実装をしてみました！ DockerでCUDAのver管理やGPUも使えるようにし…
初めに 環境 準備 実行 モデルのロード サンプルプロンプト まどマギプロンプト 初めに DPOを採用したチューニングでスコアが上がったとのことなので触ってみます CALM2をDirect Preference Optimization (DPO)でチューニングしたモデル calm2-7b-chat-dpo …
はじめに 成果 参考記事からの変更点 環境 環境設定 データセットの構築 トークナイザー準備 事前学習 学習用のパラメータの設定 事前学習の実行 推論 モデルをhuggingfaceにアップグレードする ライブラリのインストールとログイン モデルのアップロード は…
初めに 環境 準備 実行 サンプルプロンプト まどマギプロンプト 初めに Stability AIから1.6Bでパフォーマンスがいいモデルが出たみたいなので、触ってみます Today, we’re releasing Stable LM 2 1.6B, a state-of-the-art 1.6 billion parameter small lan…
初めに 環境 準備 実行 モデルのロード サンプルプロンプト find cpu number fanction Unityのコード補正 初めに コードの補正LLMが出たので、触っていきます Stable Code 3Bが登場！30億パラメータの大規模言語モデルで、コード補完が今までにないスピード…
環境 問題 解決方法 環境 Unity 2023.2.4f1 VRM v0.117 つくよみちゃん 3Dモデル のほしお式 manifest.jsonに以下を追加済み "com.vrmc.vrmshaders": "https://github.com/vrm-c/UniVRM.git?path=/Assets/VRMShaders#v0.117.0", "com.vrmc.gltf": "https://g…
初めに 環境 準備 cloneとライブラリのインストール 必要なフォルダの作成 config ファイルを作成 LLMのマージ オプション モデルをhuggingfaceに公開 モデルカードの作成 モデルのアップロード 初めに 自分でもMoEが作れるみたいなので、実際にやってみます…
初めに 環境 準備 実行 サンプルプロンプト(翻訳) まどマギプロンプト 初めに 日本語のモデルのMoEが出たので、触ってみます mergekitを使ってMoEモデルを作ってみました。・rinna/youri-7b-instruction・rinna/youri-7b-chatchatモデルとinstructionモデル…
初めに 環境 開発環境 モデル等の環境 準備 WebUI実行 学習の設定と実行 学習結果 評価 Chat結果 備考 初めに microsoft/phi-2はSLMで小さい言語モデルで、fine tuningをすればかなり使い勝手がいいということなので、実際にやってみます。 以下のサイトを基…
環境 参考サイト 準備 ライブラリのインストール qlora.pyの変更 学習 学習したモデルで推論 備考 ValueError: Tokenizer class GPTNeoXTokenizer does not exist or is not currently imported.のエラー対応 環境 L4 GPU ubuntu22.04 学習データ bbz662bbz/…
初めに 環境 準備 実行 モデルのロード サンプルプロンプト まどマギ まどマギQA 初めに With the recent release of #TinyLlama, SLMs have attracted a lot of attention. I re-released my previously trained SLM - LiteLlama under the MIT license, wh…
初めに 環境 準備 マージ元のモデルの定義 モデルのマージ モデルをhuggingfaceにアップロードする マージしたモデルを動かす モデルのロード 続きの推論 まどマギテスト 初めに LLMのマージがより簡単にできるライブラリが公開されたので触っていきます git…
初めに 環境 準備 推論 モデルのロード サンプルプロンプト まどマギプロンプト まどマギで一番可愛いキャラはなんですか？ 初めに 高校生の方がマージモデルを公開されたということなので、触っていきます calm2-7bの1~24層、8~32層をslerpマージしたbaku-1…
はじめに Demo 環境 ライセンス認証 ビルドの自動化 テストの自動化 はじめに 昔にGameCIを使ってGitHub Actions上でUnityのテストやビルドの自動化をする記事を書きました。しかし、UnityのLicense認証周りが変わったことで以下では動かなくなっていたため…
huggingface_hub CLIをインストール リポジトリの作成 huggingfaceにlogin フォルダのアップロード データセットのリポジトリにアップロードする場合 参考 huggingface_hub CLIをインストール huggingface.co pip install -U "huggingface_hub[cli]" リポジ…
環境 最大使用量を設定する 設定を確認する 環境 Linux(Ubuntu) 最大使用量を設定する 以下のコマンドで最大使用量を設定できます。ただ数値はKBなので、GBの場合は、1024 × 1024をする必要があります (例) 20GB = 20 × 1024 × 1024 = 20971520 ulimit -m 最…
初めに 環境 準備 ONNXに変換 bert-base-uncased rinna/japanese-gpt2-xsmall rinna/japanese-gpt-neox-3.6b-instruction-sft-v2 cyberagent/calm2-7b-chat モデルのサイズごとの使用メモリ量 初めに Web(transformers.js)やunityでLLMを使う際にフォーマッ…
初めに 環境 準備 モデルのロード 実行 サンプルテスト まどマギテスト 初めに SOLAR-10.7B has remarkable performance. It outperforms models with up to 30B parameters, even surpassing the recent Mixtral 8X7B model. と書かれているので、どのくら…
環境 準備 実行 まどマギテスト 富士山の高さは？ What American movies do you recommend that make you cry? 環境 Linux(ubuntu22.04) L4 GPU 準備 TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUFのtinyllama-1.1b-chat-v1.0.Q4_K_M.ggufを ダウンロードします l…
初めに 環境 準備 コードの作成 推論 結果 tokens = 3の場合 tokens = 100の場合 まとめ 初めに MacでLLMで動くライブラリ「AirLLM」があると聞いたので、実際に試してみます github.com 参考サイト note.com 環境 CPU : M1Max Mac メモリ : 64GB モデル : e…
はじめに 環境 準備 cmakeの環境作成 llama.cppの環境作成 モデルのダウンロード llama.cppの動作確認 llama.cppをサーバーとして実行 Unityに必要なライブラリの追加 レスポンスのクラスの作成 Unityからllama.cppに対してAPIを叩く llama.cppのGPUオフロー…
