初めに 環境 準備 実行 初めに 以下を試してみます huggingface.co 環境 L4 GPU(Jupyter Notebook) ubuntu22.04 準備 以下のライブラリを入れます !pip install transformers bitsandbytes accelerate モデルのダウンロードをします # pip install bitsandby…

初めに 開発環境 データ準備 datasetsを使ったローカルのjsonのロード 初めに 以下のようにQLoRAを使ってfine turningを行いましたが、独自データを使いたい場合の適当方法についてやってみます ayousanz.hatenadiary.jp 開発環境 cuda:12.2.0-base-ubuntu22…

環境 準備 実行 環境 python 3.11 準備 以下のライブラリをインストールします pip install pyarrow pip install pandas 実行 import pandas as pd # 既にあるDataFrameをParquet形式で保存します。 file_path = "./data.parquet" # Parquetファイルを読み込…

初めに 環境 準備 実行 初めに 35,000時間のコーパスである「ReazonSpeech v2 コーパス」が公開されたので、実際にどのようなデータが入っているのかを確認したいと思います。 prtimes.jp 環境 Google Colob (CPU) 準備 必要なライブラリを入れていきます !p…

初めに 環境 準備 実行 モデルのロード サンプル画像のCLIPテスト つくよみちゃん画像のCLIPテスト 雰囲気のテスト 初めに 日本語に対応しているCLIPモデルが新しく出てきたので、試してみます blog.recruit.co.jp 環境 L4 GPU ubuntu22.04 準備 ライブラリ…

初めに デモ 開発環境 実装 環境を作る モデルのロードと初期化 STTのAPIの作成 初めに 音声認識をしたい場合whisperを使うことが多いですが、より速くより使いやすくしたいと思ってたので実装をしてみました！ DockerでCUDAのver管理やGPUも使えるようにし…

初めに 環境 準備 実行 モデルのロード サンプルプロンプト まどマギプロンプト 初めに DPOを採用したチューニングでスコアが上がったとのことなので触ってみます CALM2をDirect Preference Optimization (DPO)でチューニングしたモデル calm2-7b-chat-dpo …

はじめに 成果 参考記事からの変更点 環境 環境設定 データセットの構築 トークナイザー準備 事前学習 学習用のパラメータの設定 事前学習の実行 推論 モデルをhuggingfaceにアップグレードする ライブラリのインストールとログイン モデルのアップロード は…

初めに 環境 準備 実行 サンプルプロンプト まどマギプロンプト 初めに Stability AIから1.6Bでパフォーマンスがいいモデルが出たみたいなので、触ってみます Today, we’re releasing Stable LM 2 1.6B, a state-of-the-art 1.6 billion parameter small lan…

初めに 環境 準備 実行 モデルのロード サンプルプロンプト find cpu number fanction Unityのコード補正 初めに コードの補正LLMが出たので、触っていきます Stable Code 3Bが登場！30億パラメータの大規模言語モデルで、コード補完が今までにないスピード…

初めに 環境 準備 cloneとライブラリのインストール 必要なフォルダの作成 config ファイルを作成 LLMのマージ オプション モデルをhuggingfaceに公開 モデルカードの作成 モデルのアップロード 初めに 自分でもMoEが作れるみたいなので、実際にやってみます…

初めに 環境 準備 実行 サンプルプロンプト(翻訳) まどマギプロンプト 初めに 日本語のモデルのMoEが出たので、触ってみます mergekitを使ってMoEモデルを作ってみました。・rinna/youri-7b-instruction・rinna/youri-7b-chatchatモデルとinstructionモデル…

初めに 環境 開発環境 モデル等の環境 準備 WebUI実行 学習の設定と実行 学習結果 評価 Chat結果 備考 初めに microsoft/phi-2はSLMで小さい言語モデルで、fine tuningをすればかなり使い勝手がいいということなので、実際にやってみます。 以下のサイトを基…

環境 参考サイト 準備 ライブラリのインストール qlora.pyの変更 学習 学習したモデルで推論 備考 ValueError: Tokenizer class GPTNeoXTokenizer does not exist or is not currently imported.のエラー対応 環境 L4 GPU ubuntu22.04 学習データ bbz662bbz/…

初めに 環境 準備 実行 モデルのロード サンプルプロンプト まどマギ まどマギQA 初めに With the recent release of #TinyLlama, SLMs have attracted a lot of attention. I re-released my previously trained SLM - LiteLlama under the MIT license, wh…

初めに 環境 準備 マージ元のモデルの定義 モデルのマージ モデルをhuggingfaceにアップロードする マージしたモデルを動かす モデルのロード 続きの推論 まどマギテスト 初めに LLMのマージがより簡単にできるライブラリが公開されたので触っていきます git…

初めに 環境 準備 推論 モデルのロード サンプルプロンプト まどマギプロンプト まどマギで一番可愛いキャラはなんですか？ 初めに 高校生の方がマージモデルを公開されたということなので、触っていきます calm2-7bの1~24層、8~32層をslerpマージしたbaku-1…

huggingface_hub CLIをインストール リポジトリの作成 huggingfaceにlogin フォルダのアップロード データセットのリポジトリにアップロードする場合 参考 huggingface_hub CLIをインストール huggingface.co pip install -U "huggingface_hub[cli]" リポジ…

初めに 環境 準備 ONNXに変換 bert-base-uncased rinna/japanese-gpt2-xsmall rinna/japanese-gpt-neox-3.6b-instruction-sft-v2 cyberagent/calm2-7b-chat モデルのサイズごとの使用メモリ量 初めに Web(transformers.js)やunityでLLMを使う際にフォーマッ…

初めに 環境 準備 モデルのロード 実行 サンプルテスト まどマギテスト 初めに SOLAR-10.7B has remarkable performance. It outperforms models with up to 30B parameters, even surpassing the recent Mixtral 8X7B model. と書かれているので、どのくら…

環境 準備 実行 まどマギテスト 富士山の高さは？ What American movies do you recommend that make you cry? 環境 Linux(ubuntu22.04) L4 GPU 準備 TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUFのtinyllama-1.1b-chat-v1.0.Q4_K_M.ggufを ダウンロードします l…

初めに 環境 準備 コードの作成 推論 結果 tokens = 3の場合 tokens = 100の場合 まとめ 初めに MacでLLMで動くライブラリ「AirLLM」があると聞いたので、実際に試してみます github.com 参考サイト note.com 環境 CPU : M1Max Mac メモリ : 64GB モデル : e…

はじめに 環境 準備 cmakeの環境作成 llama.cppの環境作成 モデルのダウンロード llama.cppの動作確認 llama.cppをサーバーとして実行 Unityに必要なライブラリの追加 レスポンスのクラスの作成 Unityからllama.cppに対してAPIを叩く llama.cppのGPUオフロー…

環境 準備 学習 動画およびポイントクラウドデータの作成 使用リソース 環境 Google Colob(ハイメモリ) 準備 ライブラリのインストール等を行います。 %cd /content !git clone -b dev https://github.com/camenduru/4DGen %cd /content/4DGen !wget https:/…

はじめに 環境 準備 推論 モデルのロード サンプルプロンプト まどマギプロンプト 使用リソース はじめに 年末にして新しいモデルが出たので、触っていきます 商用利用可能な日本語LLM「Karasu」「Qarasu」を公開しました。MTベンチで日本語公開モデルで最高…

準備 推論 モデルのロード サンプルプロンプト 面白いセリフ まどマギプロンプト改 使用リソース 準備 以下をインストールします !pip install torch !pip install transformers !pip install sentencepiece 推論 モデルのロード サンプルコード通りbf16でロ…

初めに 環境 準備 推論 モデルのロード サンプルプロンプト まどマギテスト 使用リソース 初めに 環境 L4 GPU OS : Ubunts 22.04 準備 必要なライブラリを入れます !pip install accelerate !pip install torch !pip install transformers 推論 モデルのロー…

はじめに 環境 開発環境構築 LLMをGGUFに変換 llama.cppの準備 モデルのダウンロード GGUFに変換 GGUFを量子化 GGUF化したモデルを動かす llama.cppをGPUで動かす環境を構築 cmakeをインストール CUDA Toolkitをインストール cuBLASを使えるようにする cuBLA…

はじめに 環境 準備 推論 翻訳 まどマギ はじめに ayousanz.hatenadiary.jp もうGGUFが出ていたので動かしていきます huggingface.co 環境 Google Colob (T4) 準備 llama.cppのダウンロードをします !git clone https://github.com/ggerganov/llama.cpp.git …

はじめに 環境 準備 推論 モデルのロード 翻訳プロンプト まどマギプロンプト 使用リソース 4bit量子化版 追加ライブラリ モデルのロードの設定 推論 使用リソース はじめに 公開されたので、触っていきます rinnaはQwen-7Bと14Bの日本語継続事前学習モデル…