初めに 開発環境 実装 使い方 ベンチマーク 学習 1 step での end-to-end 計測 参考 初めに piper-plus は VITS2 ベースの TTS で、 学習時にテキストと音声フレームのアライメント推定で MAS (Monotonic Alignment Search) を使っています。 既存実装は Glo…

はじめに demo 背景 データセットの作成 学習 評価 はじめに 日本語の TTS(音声合成)、特に OpenJTalk のような G2P(辞書)ベースの方式 を使っていて一番困るのが、固有名詞や新語の 誤読 です。Hugging Face がぎこちなく区切られたり、潤羽るしあ のような…

初めに 結論 開発環境 対策: Depthformer と backbone を CUDA Graph 化する Depthformer ループ backbone 初めに LFM2.5-Audio-1.5B-JP は、音声入力に対してテキストと音声を生成する日本語 speech-to-speech（s2s）会話モデルです。 前回までの記事で、こ…

初めに デモ 開発環境 口調のみ版から声込み版で何を変えたか データ作成 1) VOICEVOX ずんだもん音声の合成 学習 初めに LFM2.5-Audio-1.5B-JP は、音声入力に対してテキストと音声を interleaved に生成できる日本語 speech-to-speech（s2s）会話モデルで…

初めに 開発環境 環境構築 peft の入れ方 Windows の Triton 回避 データ作成 学習 評価 音声対話デモ 初めに LFM2.5-Audio-1.5B-JP は、音声入力に対して「新しい返答内容」を音声で返す日本語の speech-to-speech（s2s）会話モデルです。このモデルに LoRA…

初めに 開発環境 環境構築 実行 初めに 以下で軽量な日本語speech to speechのモデルが公開されたので、触ってみます Today we’re releasing two new models for Japanese: LFM2.5-Audio-1.5B-JP (audio) and LFM2.5-1.2B-JP-202606 (text). pic.twitter.com…