AI
初めに 環境 準備 推論 モデルのロード サンプルプロンプト まどマギテスト 使用リソース 初めに 環境 L4 GPU OS : Ubunts 22.04 準備 必要なライブラリを入れます !pip install accelerate !pip install torch !pip install transformers 推論 モデルのロー…
はじめに 環境 開発環境構築 LLMをGGUFに変換 llama.cppの準備 モデルのダウンロード GGUFに変換 GGUFを量子化 GGUF化したモデルを動かす llama.cppをGPUで動かす環境を構築 cmakeをインストール CUDA Toolkitをインストール cuBLASを使えるようにする cuBLA…
はじめに 環境 準備 推論 翻訳 まどマギ はじめに ayousanz.hatenadiary.jp もうGGUFが出ていたので動かしていきます huggingface.co 環境 Google Colob (T4) 準備 llama.cppのダウンロードをします !git clone https://github.com/ggerganov/llama.cpp.git …
はじめに 環境 準備 推論 モデルのロード 翻訳プロンプト まどマギプロンプト 使用リソース 4bit量子化版 追加ライブラリ モデルのロードの設定 推論 使用リソース はじめに 公開されたので、触っていきます rinnaはQwen-7Bと14Bの日本語継続事前学習モデル…
環境 準備 モデルのロード 推論 サンプルプロンプト まどマギプロンプト 推論速度 使用リソース 環境 L4 GPU 準備 必要なライブラリを入れます !pip -q install --upgrade accelerate autoawq !pip install torch==2.1.0+cu121 torchtext==0.16.0+cpu torchd…
はじめに 準備 推論 モデルのロード プロンプトから推論 結果 はじめに 準備 !pip install torch !pip install transformers !pip install sentencepiece !pip install accelerate !pip install protobuf 推論 モデルのロード import torch from transformer…
はじめに 環境 準備 推論 推論サーバー 推論APIを叩く 結果 使用リソース 備考 はじめに 以下のLLMを動かしていきます huggingface.co GitHubは以下みたいです github.com 環境 Linux CLI GPU (L4 GPU : GPU RAM 24GB) 準備 conda create -y --name openchat…
はじめに 環境 ライブラリのインストール モデルのダウンロード サンプル音声の作成 サンプル音声からプロンプトを作成する テキストからトークンを作成する 音声を作成する 使用リソース 所感 はじめに Bert-VITS2やDALL-E XなどTTSライブラリが増えてきて…
環境 準備 推論 回答 環境 L4 GPU 準備 # TheBloke/Mixtral-Fusion-4x7B-Instruct-v0.1-GGUF # llama.cppのmixtralブランチをクローン(mergeが済んだら「-b mixtral」不要) !git clone -b mixtral https://github.com/ggerganov/llama.cpp %cd llama.cpp !…
環境 実行 準備 推論 結果 ログ 環境 L4 GPU(GPU RAM 24GB) 実行 モデルをロードしてから、推論を実行します 準備 # llama.cppのmixtralブランチをクローン(mergeが済んだら「-b mixtral」不要) !git clone -b mixtral https://github.com/ggerganov/llama…
初めに 環境 特定のhash値のリポジトリのclone 仮想環境の構築 新しい環境の構築 環境の有効化 ライブラリのインストール フォルダ及びファイルの作成 設定ファイルの変更 モデルのダウンロード 音声ファイルのアップロード及び書き起こしファイルの準備 con…
環境 準備 推論 サンプル質問 まどマギ質問 日本の魅力を聞いてみる 必要なリソース 環境 Google Colob T4 準備 !pip install transformers !pip install accelerate 推論 モデル用のロードを行います。 from transformers import AutoModelForCausalLM, Aut…
初めに 環境 準備 推論 モデルのロード 音声のテキスト化 使用したリソース 初めに rinnaさんからwhisperの競合になり得るモデルが出たので、触っていきます rinnaは大規模言語モデルGPTを活用した日本語音声認識モデル「Nue ASR」を公開しました。事前学習…
初めに 準備 実行 初めに マルチモーダルのモデルが出たみたいなので、触っていきます Announcing Nous Hermes 2.5 Vision! @NousResearch's latest release builds on my Hermes 2.5 model, adding powerful new vision capabilities thanks to @stablequan…
初めに 環境 準備 実行 CLI 初めに 以下のマルチモーダルのモデルが出ていたので、試していきます github.com 環境 Google Colob 準備 !git clone https://github.com/qnguyen3/hermes-llava.git %cd hermes-llava !pip install --upgrade pip # enable PEP …
はじめに VITS2よりも精度がよく、演技等もうまく出せるというBert-VITS2で学習をしていきます 結論 学習は成功した?もの生成した音声がうまくいっておらず、成功はしていません 環境 Google Colob 参考サイト こちらの記事を参考に進めていきます zenn.dev…
環境 Google Colob A100 準備 ライブラリをインストールします !pip install transformers==4.32.0 accelerate tiktoken einops transformers_stream_generator==0.0.4 scipy torchvision pillow tensorboard matplotlib 実行 ft16やbf16は対応していないっ…
はじめに Qwen/Qwen-72Bが公開されたのですが、動かせるGPU RAMがないため 以下の7B版を動かしてみます huggingface.co 環境 Goolgle Colob 準備 ライブラリをインストールします !pip install transformers==4.32.0 accelerate tiktoken einops scipy trans…
はじめに 環境 準備 推論 推論に必要なリソース はじめに 今更ですが、CALM2のAWQ版を動かしてみます。 huggingface.co 環境 Google Colob A100 (GPU RAMを25GB使うため、無料枠だと無理でした) 準備 必要なライブラリの追加します !pip -q install --upgrad…
初めに 環境 準備 推論 推論速度 推論時 GPU RAM 自然言語処理とは何か まどマギで一番可愛いキャラはなんですか? 日本で一番高い山はなんですか? 初めに (非商用ですが)性能がいいとのことなので、実際に試してみます Introducing new (synthetic) RLHF D…
はじめに ライブラリのインストール 実装 所感 はじめに こちらのポストを見て、単語からプロンプトを生成していてすごい!?となったので実際に動かしてみます 1girl, solopls try https://t.co/t0x6uqJr8z thx pic.twitter.com/ucKJy3c0t3— Linaqruf (@lin…
はじめに 環境 準備 実行 英語 日本語 消費リソース はじめに TLを見ていたら、でていたので試してみます TinyLlama just released 1.5T Tokens version!Open Source is taking over the worldFind them here: https://t.co/TlQSdMAwDLhttps://t.co/pnBT3SAT…
はじめに 環境 実行 準備 結果 はじめに LLMや画像生成をするために,APIサーバーを作ろうとするとGoogle ColobやローカルPCを使うとサービス化およびpublic化が難しいためクラウドGPUを使用したいと考えていました。 その中で Modalをいうサービスを見つけ…
はじめに 以下のように rinnaさんがチャット形式のハイスコア版 GPTQを公開されていたので、触ってみます rinnaはLlama 2の日本語継続事前学習モデル「Youri 7B」シリーズを公開しました。①Youri 7B:日英40Bトークンで継続事前学習②Youri 7B Instruction:…
はじめに 実行 はじめに huggingface.co が出たと聞いたので、動かしてみます! 実行 !git clone https://github.com/ggerganov/llama.cpp.git %cd llama.cpp !wget https://huggingface.co/mmnga/japanese-stablelm-instruct-gamma-7b-gguf/blob/main/japan…
はじめに 環境 実行 準備 推論 エラーが出た時 Gitが入っていないと言われた場合 GPU RAMが足りないと言われ場合 はじめに 以下のツイートを見て、マルチモーダルの軽量LLMが出ていることを知ったので動かしてみます. 手元の環境では、量子化なしではGPU RAM…
初めに 環境 fine turning データの準備 学習 初めに 「一貫したキャラ性を持った回答をするAIを作りたい」「でもライセンスの問題もなくキャラ性を保ったままそれなりの規模があるデータセットなんて無い」「自分のツイートを使えばいいのでは」というわけ…
初めに 環境 動かしてる 初めに 超高速&格安LLMプラットフォームがあると言うことなので、Google Colobで試してみます note.com 環境 Google Colob CPUのみ(ハイメモリ) 動かしてる まずは必要なインストールをします !pip install --upgrade fireworks-ai i…
概要 環境 内容 世界の創造と定義 キャラクターと出力フォーマットの定義 仲間探し アイテムの購入と相談 レベルアップ やり取りの全文 概要 ChatGPT(Model-GPT4)で疑似的なテキストの世界で冒険をしていきます。 アイテムを購入したり、仲間を集めたり、敵…