環境 準備 学習 動画およびポイントクラウドデータの作成 使用リソース 環境 Google Colob(ハイメモリ) 準備 ライブラリのインストール等を行います。 %cd /content !git clone -b dev https://github.com/camenduru/4DGen %cd /content/4DGen !wget https:/…

はじめに 環境 準備 推論 モデルのロード サンプルプロンプト まどマギプロンプト 使用リソース はじめに 年末にして新しいモデルが出たので、触っていきます 商用利用可能な日本語LLM「Karasu」「Qarasu」を公開しました。MTベンチで日本語公開モデルで最高…

準備 推論 モデルのロード サンプルプロンプト 面白いセリフ まどマギプロンプト改 使用リソース 準備 以下をインストールします !pip install torch !pip install transformers !pip install sentencepiece 推論 モデルのロード サンプルコード通りbf16でロ…

初めに 環境 準備 環境構築 Notion APIの取得 はてなブログの一覧を取得する Zennの記事一覧を取得する NotionのDBに記事を追加する それぞれのデータを取得して、日付ソートして書き込む GitHub Actionsを使って定期的に実行する 初めに 自分のポートフォリ…

初めに 環境 準備 推論 モデルのロード サンプルプロンプト まどマギテスト 使用リソース 初めに 環境 L4 GPU OS : Ubunts 22.04 準備 必要なライブラリを入れます !pip install accelerate !pip install torch !pip install transformers 推論 モデルのロー…

はじめに 環境 開発環境構築 LLMをGGUFに変換 llama.cppの準備 モデルのダウンロード GGUFに変換 GGUFを量子化 GGUF化したモデルを動かす llama.cppをGPUで動かす環境を構築 cmakeをインストール CUDA Toolkitをインストール cuBLASを使えるようにする cuBLA…

はじめに 環境 準備 推論 翻訳 まどマギ はじめに ayousanz.hatenadiary.jp もうGGUFが出ていたので動かしていきます huggingface.co 環境 Google Colob (T4) 準備 llama.cppのダウンロードをします !git clone https://github.com/ggerganov/llama.cpp.git …

はじめに 環境 準備 推論 モデルのロード 翻訳プロンプト まどマギプロンプト 使用リソース 4bit量子化版 追加ライブラリ モデルのロードの設定 推論 使用リソース はじめに 公開されたので、触っていきます rinnaはQwen-7Bと14Bの日本語継続事前学習モデル…

環境 準備 モデルのロード 推論 サンプルプロンプト まどマギプロンプト 推論速度 使用リソース 環境 L4 GPU 準備 必要なライブラリを入れます !pip -q install --upgrade accelerate autoawq !pip install torch==2.1.0+cu121 torchtext==0.16.0+cpu torchd…

はじめに 準備 推論 モデルのロード プロンプトから推論 結果 はじめに 準備 !pip install torch !pip install transformers !pip install sentencepiece !pip install accelerate !pip install protobuf 推論 モデルのロード import torch from transformer…

はじめに 環境 準備 推論 推論サーバー 推論APIを叩く 結果 使用リソース 備考 はじめに 以下のLLMを動かしていきます huggingface.co GitHubは以下みたいです github.com 環境 Linux CLI GPU (L4 GPU : GPU RAM 24GB) 準備 conda create -y --name openchat…

はじめに 環境 ライブラリのインストール モデルのダウンロード サンプル音声の作成 サンプル音声からプロンプトを作成する テキストからトークンを作成する 音声を作成する 使用リソース 所感 はじめに Bert-VITS2やDALL-E XなどTTSライブラリが増えてきて…

環境 準備 推論 回答 環境 L4 GPU 準備 # TheBloke/Mixtral-Fusion-4x7B-Instruct-v0.1-GGUF # llama.cppのmixtralブランチをクローン（mergeが済んだら「-b mixtral」不要） !git clone -b mixtral https://github.com/ggerganov/llama.cpp %cd llama.cpp !…

環境 実行 準備 推論 結果 ログ 環境 L4 GPU(GPU RAM 24GB) 実行 モデルをロードしてから、推論を実行します 準備 # llama.cppのmixtralブランチをクローン（mergeが済んだら「-b mixtral」不要） !git clone -b mixtral https://github.com/ggerganov/llama…

初めに 環境 特定のhash値のリポジトリのclone 仮想環境の構築 新しい環境の構築 環境の有効化 ライブラリのインストール フォルダ及びファイルの作成 設定ファイルの変更 モデルのダウンロード 音声ファイルのアップロード及び書き起こしファイルの準備 con…

環境 準備 推論 サンプル質問 まどマギ質問 日本の魅力を聞いてみる 必要なリソース 環境 Google Colob T4 準備 !pip install transformers !pip install accelerate 推論 モデル用のロードを行います。 from transformers import AutoModelForCausalLM, Aut…

初めに 環境 準備 推論 モデルのロード 音声のテキスト化 使用したリソース 初めに rinnaさんからwhisperの競合になり得るモデルが出たので、触っていきます rinnaは大規模言語モデルGPTを活用した日本語音声認識モデル「Nue ASR」を公開しました。事前学習…

初めに エラー 対応方法 初めに magic-animateを触る際にCUDAのver問題で困ったので、解決策のメモ github.com エラー RuntimeError: Detected that PyTorch and torchvision were compiled with different CUDA versions. PyTorch has CUDA Version=11.7 an…

初めに 準備 実行 初めに マルチモーダルのモデルが出たみたいなので、触っていきます Announcing Nous Hermes 2.5 Vision! @NousResearch's latest release builds on my Hermes 2.5 model, adding powerful new vision capabilities thanks to @stablequan…

初めに 環境 準備 実行 CLI 初めに 以下のマルチモーダルのモデルが出ていたので、試していきます github.com 環境 Google Colob 準備 !git clone https://github.com/qnguyen3/hermes-llava.git %cd hermes-llava !pip install --upgrade pip # enable PEP …

はじめに 環境 準備 docker hubのTokenを作成 GitHub Secretの登録 Docker imageの作成 GitHub Actionsによる自動化 DockerHubにpush時にuploadをするActionの作成 uploadしたimageのデバッグ用のActionの作成 はじめに Dockerを使っていると自分でimageをカ…

はじめに VITS2よりも精度がよく、演技等もうまく出せるというBert-VITS2で学習をしていきます 結論 学習は成功した？もの生成した音声がうまくいっておらず、成功はしていません 環境 Google Colob 参考サイト こちらの記事を参考に進めていきます zenn.dev…

環境 Google Colob A100 準備 ライブラリをインストールします !pip install transformers==4.32.0 accelerate tiktoken einops transformers_stream_generator==0.0.4 scipy torchvision pillow tensorboard matplotlib 実行 ft16やbf16は対応していないっ…

はじめに Qwen/Qwen-72Bが公開されたのですが、動かせるGPU RAMがないため 以下の7B版を動かしてみます huggingface.co 環境 Goolgle Colob 準備 ライブラリをインストールします !pip install transformers==4.32.0 accelerate tiktoken einops scipy trans…

はじめに 環境 準備 推論 推論に必要なリソース はじめに 今更ですが、CALM2のAWQ版を動かしてみます。 huggingface.co 環境 Google Colob A100 (GPU RAMを25GB使うため、無料枠だと無理でした) 準備 必要なライブラリの追加します !pip -q install --upgrad…

初めに 環境 準備 推論 推論速度 推論時 GPU RAM 自然言語処理とは何か まどマギで一番可愛いキャラはなんですか？ 日本で一番高い山はなんですか？ 初めに (非商用ですが)性能がいいとのことなので、実際に試してみます Introducing new (synthetic) RLHF D…

はじめに ライブラリのインストール 実装 所感 はじめに こちらのポストを見て、単語からプロンプトを生成していてすごい！？となったので実際に動かしてみます 1girl, solopls try https://t.co/t0x6uqJr8z thx pic.twitter.com/ucKJy3c0t3— Linaqruf (@lin…

環境 準備 ライブラリの準備 tokenの準備 実装 テキストを送信する ファイル(画像)を送信する 環境 Python3.10 準備 ライブラリの準備 slackが公式に slack-sdk というライブラリを公開しているので、こちらをインストールします pip install slack-sdk toke…

はじめに 環境 準備 実行 英語 日本語 消費リソース はじめに TLを見ていたら、でていたので試してみます TinyLlama just released 1.5T Tokens version!Open Source is taking over the worldFind them here: https://t.co/TlQSdMAwDLhttps://t.co/pnBT3SAT…

はじめに 環境 実行 準備 結果 はじめに LLMや画像生成をするために，APIサーバーを作ろうとするとGoogle ColobやローカルPCを使うとサービス化およびpublic化が難しいためクラウドGPUを使用したいと考えていました。 その中で Modalをいうサービスを見つけ…