AI

Google Colabで時系列基盤モデルのGoogle timesfmを試す

AI

初めに 開発環境 ライブラリのインストール データのダウンロードおよび整理 モデルのロード 推論 各種ライブラリのver 初めに 時系列基盤モデルでどんなことができるのか気になったので、以下の記事を実際に試してみます note.com 開発環境 Google Colob T4…

GoogleColobでstabilityai/stable-audio-open-1.0を動かす

AI

初めに 開発環境 ライブラリのインストール シークレットトークンの設定 モデルのロードおよび生成 初めに Audio生成でかなり精度が高いモデルが出たので触ってみます huggingface.co 開発環境 Google Colob T4(Free) ライブラリのインストール # 必要なパッ…

TransformersのOptimumを使ってモデルをonnxに変換する

AI

開発環境 準備 モデルの変換 開発環境 Ubutntu 22.02 準備 まずは以下のライブラリをインストールします python -m pip install optimum モデルの変換 例として、cyberagent/open-calm-smallを変してみます。 変換する際には、以下のコマンドで変換すること…

NVidia MAXINE AFX SDKを使って音声のノイズ除去をする

AI

初めに 環境 準備 実行 NVIDIA Broadcastとの比較 参考記事 初めに 音声のノイズ除去はいろいろ方法がありますが、MAXINE-AFX-SDKを試していきます 環境 Windows 11 準備 まずは以下でライブラリをcloneしてきます git clone https://github.com/NVIDIA/MAXI…

GoogleColobでstabilityai/japanese-stablelm-2-instruct-1_6bを動かす

AI

初めに 環境 準備 モデルのロード 推論 初めに Stability AIから新しいLLMモデルが出たので試していきます。 日本語特化の言語モデル「Japanese Stable LM 2 1.6B」をリリースしましたJapanese Stable LM 2 1.6B(JSLM2 1.6B)は16億パラメータで学習した日…

Unity Sentisを使ってonnxでデバイスのみで動くSTTを実装する

初めに Demo 開発環境 ライブラリの準備 モデルの設定 スクリプトと音声の設定 実行 初めに 以下のモデルを触ってみます huggingface.co Demo 以下のように動作します!動画内の音声は、huggingfaceに含まれているサンプル音声になります www.youtube.com ま…

Unity Sentisを使ってonnxでデバイスのみで動くLLMを実装する

初めに Demo 開発環境 ライブラリのインストール モデルのダウンロード モデルとスクリプトのUnityへの配置 Unity側でLLMの実行 初めに Unityが Unity Sentisで動く phi 1.5のONNXのモデルを公開しているので、こちらを動かしていきます huggingface.co (注)…

Unity Sentisを使ってonnxでデバイスのみで動くTTSを実装する

初めに Demo 開発環境 ライブラリのインストール モデルの設定 スクリプトの設定 TTSの実行と再生 初めに UnityがUnitySentisを使ってTTSを実装できるようなサンプル?モデルを公開しているので、動かしていきます huggingface.co Demo デモでは、文字を入力…

Ubuntu 22.02の開発環境構築手順

AI

初めに 開発環境 詳細 現状の確認 システムの最新化 NVIDEA ドライバーのインストール CUDA toolkitのインストール システムの再起動 パスの追加 cuda toolkitの確認 初めに 開発環境 Ubuntu 22.02 詳細 現状の確認 lspci | grep -i nvidia システムの最新化…

bertモデルを使ってlivedoorニュースの分類をする

AI

初めに 環境 準備 ライブラリのインストール データの取得と整理 モデルの学習 モデルの評価 モデルの保存とhuggingfaceへのアップロード 追加学習をしたモデルを使って分類 初めに 色々LLMを触ってきて、ちゃんと?bertを触ったことがないので以下の記事を自…

huggingfaceのCacheパスを変更する

AI

開発環境 詳細 開発環境 Windows 11 詳細 以下を参考に参照するパスを変更します。ターミナルを立ち上げるごとに設定する必要があります huggingface.co $env:HF_DATASETS_CACHE = "full path"

ESPNet2を使った音声とテキストのアライメント処理

AI

開発環境 ライブラリのインストール アライメント処理 開発環境 Ubuntu 22.02 Python 3.10 ライブラリのインストール 以下で必要なライブラリを入れます pip install soundfile espnet_model_zoo torch sudo pip install soundfile espnet_model_zoo torch …

KenLMで日本語文章の品質の評価

AI

初めに 開発環境 環境構築 評価コード 結果 sentencepieceを使った場合 参考サイト 初めに 以下でLLMを使って文章の評価をしていますが、速度が速いと言われるKenLMでも評価してみます ayousanz.hatenadiary.jp 開発環境 Ubuntu22.02 環境構築 sudo apt inst…

複数のLLMのPerplexityの精度を比較して、文章の自然さを判定を試す

AI

初めに 環境 準備 比較対象のモデル 対象のデータ 複数のモデルでPerplexityの値を取得 結果 初めに 環境 L4 GPU ubuntu22.04 準備 ライブラリをインストールします pip install torch transformers huggingface_hub 比較対象のモデル stabilityai/StableBel…

cl-tohoku/bert-base-japaneseを使って文章の自然さを判定する

AI

開発環境 ライブラリのインストール データの準備 文章の自然さの判定 開発環境 Ubuntu 22.02 Python 3.10 ライブラリのインストール pip install torch transformers pip install fugashi ipadic データの準備 以下のようなデータを準備します それと僕が材…

文章の類似度にminineedleを使って類似度測定を行う

AI

初めに 開発環境 ライブラリのインストール minineedleで使用できるアルゴリズムについて 複数の文章で実行 初めに 文章の類似度に minineedleを教えていただいたので触ってみます。ライブラリの内容を見る感じ タンパク質配列間などを記載があるので、生物…

espnet/yodasの音声データをmp3に変換してローカルに保存する

AI

開発環境 ライブラリのインストール mp3に変換・保存 開発環境 Ubunts 22.02 ライブラリのインストール pip install pydub sudo apt-get install ffmpeg pip install librosa soundfile mp3に変換・保存 以下で.arrowで保存されているデータをmp3に変換して…

ChromeDBとBeluuuuuuga/Japanese-Instruction-Linux-Command-169を使って質問に対する適切なLinuxコマンドを探すRAGを構築する

AI

初めに デモ 開発環境 Chromeとは RAGシステムの構築 ライブラリの準備 DBの構築とデータの追加 質問をして回答を取得 初めに 珍しい?データセットがあったので、こちらを使ってLinuxで操作したいことがあるけどコマンドがわからない場合に雑に質問ができる…

マルチGPUででLLMの学習時をする際の「NCCL communicator and retrieving ncclUniqueId」のエラーの対応

AI

開発環境 nvidia-smi nvcc 詳細 開発環境 NVIDIA RTX A5000 × 7(シングルノード) Ubuntu 22.04.4 LTS nvidia-smi +-----------------------------------------------------------------------------------------+ | NVIDIA-SMI 550.54.14 Driver Version: 55…

reazon-research/reazonspeech(tiny)の音声データをNISQAで音声品質と自然さの評価のデータ分析をする

AI

初めに 環境 分析処理の方向性 reazonspeechのデータフォーマット NISQAの実行方法について 分析の方向性 前処理 reazonspeechのデータをflacに変換 flacファイルをwavファイルに変換 NISQAでwavファイルを分析 CSVから分析 初めに NISQAを使ってreazon-rese…

ffmpegを使ってflacファイルをwavファイルにGNU Parallelを使って並列処理で変換をする

AI

初めに 開発環境 詳細 初めに 開発環境 cuda:12.2.0 ubuntu22.04 詳細 以下のコードにて、指定したフォルダ内にあるflacファイルをwavファイルに変換します。このとき -j $(nproc) でCPUの最大コア数を指定しているのため、必要に応じて変更してください #!/…

reazon-research/reazonspeech(tiny)のデータセットをflac及びwavファイルで個別に保存する

AI

環境 準備 実行 pythonでflacに変換 pythonでwavに変換 変換したwavファイルの情報を確認 ffmpegでflacからwavに変換 環境 L4 GPU ubuntu22.04 準備 実行 pythonでflacに変換 from datasets import load_dataset import os # データセットをロード ds = load…

reazon-research/reazonspeech(tiny)の音声データをSpeechMOSで音声の自然さのデータ分析をする

AI

初めに 環境 準備 SpeechMOSによるデータ分析 初めに 前回は、WADR-SNRで分析をしました。今回は SpeechMOSを使って音声の品質を分析していきます ayousanz.hatenadiary.jp 環境 Google Colob(CPU) 準備 必要なライブラリを入れていきます !pip install data…

GaLoreを使って0.01Bモデル(EN)を作ってみる(モデルが保存できない)

AI

初めに 環境環境 準備 学習 初めに LoRAよりもメモリ効率がよく学習ができる手法であるGaLoreで試してみます 論文のabstractの日本語訳は以下です(claude 3 opus を使用) 大規模言語モデル(LLM)の学習では、重みと最適化器の状態のサイズが増大するため、…

intfloat/e5-mistral-7b-instructを動かす

AI

初めに 環境 準備 実行 初めに 日本語の埋め込みモデルでスコアが高い intfloat/e5-mistral-7b-instructを触ってみます 参考(JapaneseEmbeddingEval) github.com 環境 L4 GPU ubuntu22.04 準備 ライブラリの追加をします !pip install flash_attn -U !pip in…

cl-nagoya/shioriha-large-ptを動かす

AI

初めに 環境 準備 実行 初めに 公開されたので触っていきます 東北大BERT-largeに対し、batch size 8192, 系列長 256で、日本語WikipediaやMMARCOといった弱教師データによる対照事前学習を行ったモデルであるshioriha-large-ptを公開しました。文埋め込みに…

TripoSRを動かす

AI

初めに 環境 準備 実行 初めに text to 3DがStabilityAIから出たので触ってみます 新リリース@tripoAI とのコラボレーションにより、TripoSR をリリースしました。TripoSR は、1秒以内に高品質なアウトプットを作成できる新しい image-to-3D モデルです。詳…

MeloTTSを動かす

AI

初めに 環境 準備 実行 初めに 新しいTTSのライブラリが出ていたので触っていきます。 以下概要です MeloTTS is a high-quality multi-lingual text-to-speech library by MyShell.ai. Supported languages include: The Chinese speaker supports mixed Chi…

ITAコーパスをファイル名と本文のみに変換するスクリプトを作成する

初めに 環境 変換コード 実行 初めに TTSの学習データを作る際に 音声コーパスにはよく ITAコーパスが用いられることがあります。このコーパスは以下のフォーマットで作成されています. ファイル名:本文,ヨミ こちらを学習に使う際にヨミの部分は、必要がな…

独自のデータセットで学習したLoRAモデルをllama.cppで動かす

AI

初めに 環境 LoRAモデルの作成(一部割愛) llama.cppでの変換 LoRAのテスト 初めに 以前に独自のデータセットをQLoRAを使い fine tuningを行いました。ここで作られてたLoRAモデルをllama.cppでも使っていきたいと思います ayousanz.hatenadiary.jp 今回はつ…