初めに 環境 準備 実行 初めに 新しくttsのライブラリが出たので触ってみます ありがたいことに昨年度のlineサマーインターンの成果であるprompttts++のコードとデモを公開していただきました---paperhttps://t.co/2pZ7Vd057g demo (new)https://t.co/WnA5CC…

初めに 構成要素の概要 エンコーダー（Encoder） デコーダー（Decoder） ボコーダー（Vocoder） 特徴的な部分 Sway Sampling ConvNeXT トレーニングと推論 トレーニングデータ 非自己回帰型TTS 環境 準備 ライブラリのインストール 事前学習モデルの配置 実…

開発環境 詳細 開発環境 Windows python 3.10.11 uv 0.4.16 詳細 crcmod(==1.7)をインストールする際に以下のエラーが出ました。 error: Failed to prepare distributions Caused by: Failed to fetch wheel: crcmod==1.7 Caused by: Failed to run `C:\User…

初めに 開発環境 詳細 初めに 査読前の論文がアップロードされている arXivを気になったものを見ているものの気になるものを全て探すのは大変なので API経由で検索をしていきます 記事の内容のリポジトリは以下で公開しています github.com 開発環境 python …

はじめに 開発環境 インストール方法 必要なパッケージのインストール Go 言語のインストール Singularity のソースコードのダウンロード エラー対応 参考サイト はじめに Singularity は、高パフォーマンスコンピューティング（HPC）環境でのコンテナ実行を…

参考 開発環境 内容 pythonのversionの固定 ライブラリをインストール 参考 (この記事はとても参考になっています) zenn.dev 開発環境 Windows 11 内容 requirements.txt を使って ライブラリをインストールするときのメモ pythonのversionの固定 以下で 特…

初めに 環境 docker環境の作成 音声データセットの準備 ノーマライゼーション処理 文字お越しファイルの作成 セマンティックトークンのバッチ抽出 データセットをprotobufにパック LoRAの学習 学習後のLoRAの重みを変換 学習後のモデルを使って推論 備考 初…

開発環境 モデルの構造確認 開発環境 Windows 11 Python 3.10.11 モデルの構造確認 以下のコードでモデルの構造を確認できます テンソルのサイズ分布 重要なテンソルの形状 モデルの主要コンポーネント: レイヤーの構造: 埋め込み次元: モデルの設定情報: im…

開発環境 準備 実行 備考 開発環境 Windows11 python 3.11 4070 ti super 準備 まずは stable-audio-toolsをcloneします 次に依存周りをインストールしていきます pip install . このままだとcudaが認識されないので、cudaに対応したライブラリのインストー…

初めに 開発環境 詳細 初めに 開発環境 Windows 11 Python 3.11 詳細 pyannote.audioのInferenceの処理で以下のエラーが出ることがあります。 Details: choose a window size 400 that is [2, 251] こちらは windowが"whole"になっていることで、"whole" オ…

初めに Demo 開発環境 実装のアプローチ クロスフェード DTWを使ったモーフィング DTW + numbaにて高速化 初めに TTSをしている中で特定の音声同士を合わせた音声が欲しい時があります。TTSではマージがありますが、マージとは違うアプローチを考えていきま…

初めに 開発環境 準備 音声情報を再構築 初めに 音声からmel 情報を再構築をして再度音声に変換するライブラリ「BigVGAN」を動かしていきます。Demo用Gradioはありますが、あえて自分でコードを書いていきます github.com 開発環境 Windows 11 Python 3.11 …

初めに 開発環境 UnityでRustのライブラリを動かす方法について Vibratoをプラグイン化 Unity側でVibratoを呼び出す 初めに 形態素解析で有名なものとして、Mecabがありますがより高速に動く Rust版のVibratoを以下の記事で動かしてみました。今回は、それを…

初めに Demo 開発環境 Vibrato専用の辞書ファイルをダウンロード Rustのプロジェクトの作成 Vibratoを動かす 初めに より速い形態素解析ライブラリを探していて，Mecab(および高速化)や jaggerよりも速いと言われている vibratoを触ってみます。 Demo 本とカ…

MacにRustをインストールする Permissionのエラー対応 MacにRustをインストールする まず MacにRustがインストールされていることを確認します 以下のコマンドで 各種verがインストールされいれば問題ないため，次に進んでください rustc --version インスト…

初めに 開発環境 準備 データセットの準備 学習の実行 学習したモデルで推論 初めに Transformer モデルに基づく、書記素から音素への変換ライブラリがあります。このライブラリで使用できるモデルをデータセットの整形からモデルの事前学習まで作ってみます…

開発環境 ライブラリのインストール 動画および再生リストのダウンロード 開発環境 Windows 11 Python 3.11 ライブラリのインストール 以下でライブラリのインストールできます pip install yt-dlp 動画および再生リストのダウンロード まずは単体の動画のダ…

初めに 開発環境 ライブラリのインストール 実行 初めに 歌ってみたなどの音声ファイルからボーカルのみを抽出した場合、以下などのボーカル抽出ソフトなどで対応することができます。 github.com しかしこのソフトには、CLI版がないため CLIで動くものを探…

初めに 開発環境 ライブラリのインストール BM42のindexおよび検索 初めに 以下でBM25よりも精度がいいBM42が発表されたとあるので、実際に触ってみます www.atpartners.co.jp 以下の記事で、過去にBM25を動かしています。 ayousanz.hatenadiary.jp 以下で今…

開発環境 ライブラリのインストール ドキュメントから関連文の抽出 開発環境 Python 3.11 Windows 11 ライブラリのインストール 以下のドキュメントにあるようにインストールをします pip install rank_bm25 pypi.org ドキュメントから関連文の抽出 まずはい…

開発環境 ライブラリのインストール 7zファイルの解凍 開発環境 Ubuntu 22.02 ライブラリのインストール 以下で7zの解凍するためのライブラリを入れます sudo apt-get install p7zip-full 7zファイルの解凍 以下でフォルダ内にある7zファイルを解凍します fo…

初めに 開発環境 SDKのインストール Unity プラグインのダウンロード ディスプレイの設定 初めに ELF-2を触らせていただく機会があったので、とりあえずセットアップ方法をまとめます 開発環境 Windows 11 SDKのインストール 以下から開発用のSDKをインスト…

初めに 環境 準備 ライブラリのインストール モデルのアップロード 音声ファイルのアップロードと学習用テキストの作成 前処理 fine tuningの実行 fine tuingモデルで推論 事前学習をする場合 初めに 以下の記事でStableTTSで推論をしてみました。今回はfine…

初めに 環境 ライブラリのインストール モデルのアップロード WebUI画面の起動 音声合成 推論時間の計測 備考 初めに 拡散モデルのTTSで(一応)日本語対応されているライブラリの StableTTSを触っていきます github.com 環境 L4 GPU ubuntu22.04 ライブラリの…

初めに 環境 ライブラリのインストール データの取得と分析 データ形式の変換 推論 モデルのロード 推論実行及びグラフにプロット fine tuing ライブラリのインストール 学習用のデータの変換 参考サイト fine tuing 追加学習モデルを使った推論 初めに 過去…

初めに 開発環境 モデルのダウンロード ライブラリのインストール テキストから音素を取得 初めに 以下を使ってテキストから音素を取得してみます。モデルは日本語は対応していないみたいなので、英語で試します github.com 開発環境 Google Colob (Free) モ…

開発環境 コード 開発環境 Google Colob コード # ffmpegのインストール !apt-get install ffmpeg # チャンネル数の確認 !ffprobe -i file_name -show_streams -select_streams a:0 -loglevel error | grep channels 以下のように出力されます channels=1

開発環境 音の解析 特定の周波数のみの音にする 開発環境 Google Colob T4(Free) 音の解析 以下で sample.wav に対する周波数別の解析をします import numpy as np import matplotlib.pyplot as plt import japanize_matplotlib from scipy.io import wavfil…

初めに 開発環境 準備 モデルのダウンロード サンプル音声のアップロード x-vectorの実行 初めに 日本語の音声の話者表現ベクトルを抽出できるライブラリおよびモデルが公開されたので、使ってみます。この記事では、ReadMe + サンプリング変換コードのみに…

初めに 開発環境 ライブラリのインストール データのダウンロードおよび整理 モデルのロード 推論 各種ライブラリのver 初めに 時系列基盤モデルでどんなことができるのか気になったので、以下の記事を実際に試してみます note.com 開発環境 Google Colob T4…