初めに 開発環境 ライブラリのインストール データセットのダウンロード 初めに テキストのコーパスとして以下のoscar-corpus/OSCAR-2301があります。こちらをダウンロードするコードのメモになります huggingface.co 開発環境 Ubuntu 22.02 ライブラリのイ…

初めに 環境 準備 ライブラリのインストール データの取得と整理 モデルの学習 モデルの評価 モデルの保存とhuggingfaceへのアップロード 追加学習をしたモデルを使って分類 初めに 色々LLMを触ってきて、ちゃんと?bertを触ったことがないので以下の記事を自…

初めに 開発環境 詳細 初めに CLI上でメモリやGPUの使用量を監視するためのコマンドは以下のようなものがあります top(CPUとメモリ) htop(CPUとメモリ) nvidia-smi(GPUがメイン) github.com 公式のReadMeを見ると以下のように見えるとのことです 開発環境 Ub…

開発環境 詳細 開発環境 Windows 11 詳細 以下を参考に参照するパスを変更します。ターミナルを立ち上げるごとに設定する必要があります huggingface.co $env:HF_DATASETS_CACHE = "full path"

初めに 開発環境 詳細 インストール 一つのファイルを解凍 フォルダ内すべてを解凍 初めに zipファイルを解凍するコマンドでは、日本語を含むzipファイルの場合文字化けをします。そこで違うコマンドを使用します 開発環境 Mac 詳細 インストール brew insta…

開発環境 ライブラリのインストール アライメント処理 開発環境 Ubuntu 22.02 Python 3.10 ライブラリのインストール 以下で必要なライブラリを入れます pip install soundfile espnet_model_zoo torch sudo pip install soundfile espnet_model_zoo torch …

初めに 開発環境 環境構築 評価コード 結果 sentencepieceを使った場合 参考サイト 初めに 以下でLLMを使って文章の評価をしていますが、速度が速いと言われるKenLMでも評価してみます ayousanz.hatenadiary.jp 開発環境 Ubuntu22.02 環境構築 sudo apt inst…

初めに 環境 準備 比較対象のモデル 対象のデータ 複数のモデルでPerplexityの値を取得 結果 初めに 環境 L4 GPU ubuntu22.04 準備 ライブラリをインストールします pip install torch transformers huggingface_hub 比較対象のモデル stabilityai/StableBel…

開発環境 ライブラリのインストール データの準備 文章の自然さの判定 開発環境 Ubuntu 22.02 Python 3.10 ライブラリのインストール pip install torch transformers pip install fugashi ipadic データの準備 以下のようなデータを準備します それと僕が材…

初めに 開発環境 ライブラリのインストール minineedleで使用できるアルゴリズムについて 複数の文章で実行 初めに 文章の類似度に minineedleを教えていただいたので触ってみます。ライブラリの内容を見る感じ タンパク質配列間などを記載があるので、生物…

開発環境 ライブラリのインストール mp3に変換・保存 開発環境 Ubunts 22.02 ライブラリのインストール pip install pydub sudo apt-get install ffmpeg pip install librosa soundfile mp3に変換・保存 以下で.arrowで保存されているデータをmp3に変換して…

初めに デモ 開発環境 環境構築 プロジェクトの作成 ビルドと実行 初めに Rustで動く辞書サイズが小さくなった形態素解析ライブラリが出ているみたいなので触ってみます Rust製の多言語対応（日本語、中国語、韓国語）形態素解析器Linderaのv0.29.0をリリー…

初めに デモ 開発環境 Chromeとは RAGシステムの構築 ライブラリの準備 DBの構築とデータの追加 質問をして回答を取得 初めに 珍しい？データセットがあったので、こちらを使ってLinuxで操作したいことがあるけどコマンドがわからない場合に雑に質問ができる…

開発環境 nvidia-smi nvcc 詳細 開発環境 NVIDIA RTX A5000 × 7(シングルノード) Ubuntu 22.04.4 LTS nvidia-smi +-----------------------------------------------------------------------------------------+ | NVIDIA-SMI 550.54.14 Driver Version: 55…

初めに 環境 分析処理の方向性 reazonspeechのデータフォーマット NISQAの実行方法について 分析の方向性 前処理 reazonspeechのデータをflacに変換 flacファイルをwavファイルに変換 NISQAでwavファイルを分析 CSVから分析 初めに NISQAを使ってreazon-rese…

初めに 開発環境 詳細 初めに 開発環境 cuda:12.2.0 ubuntu22.04 詳細 以下のコードにて、指定したフォルダ内にあるflacファイルをwavファイルに変換します。このとき -j $(nproc) でCPUの最大コア数を指定しているのため、必要に応じて変更してください #!/…

環境 準備 実行 pythonでflacに変換 pythonでwavに変換 変換したwavファイルの情報を確認 ffmpegでflacからwavに変換 環境 L4 GPU ubuntu22.04 準備 実行 pythonでflacに変換 from datasets import load_dataset import os # データセットをロード ds = load…

初めに 環境 準備 SpeechMOSによるデータ分析 初めに 前回は、WADR-SNRで分析をしました。今回は SpeechMOSを使って音声の品質を分析していきます ayousanz.hatenadiary.jp 環境 Google Colob(CPU) 準備 必要なライブラリを入れていきます !pip install data…

初めに 環境環境 準備 学習 初めに LoRAよりもメモリ効率がよく学習ができる手法であるGaLoreで試してみます 論文のabstractの日本語訳は以下です(claude 3 opus を使用) 大規模言語モデル（LLM）の学習では、重みと最適化器の状態のサイズが増大するため、…

初めに 環境 準備 実行 初めに 日本語の埋め込みモデルでスコアが高い intfloat/e5-mistral-7b-instructを触ってみます 参考(JapaneseEmbeddingEval) github.com 環境 L4 GPU ubuntu22.04 準備 ライブラリの追加をします !pip install flash_attn -U !pip in…

初めに 環境 準備 実行 初めに 公開されたので触っていきます 東北大BERT-largeに対し、batch size 8192, 系列長 256で、日本語WikipediaやMMARCOといった弱教師データによる対照事前学習を行ったモデルであるshioriha-large-ptを公開しました。文埋め込みに…

初めに 環境 準備 実行 初めに text to 3DがStabilityAIから出たので触ってみます 新リリース@tripoAI とのコラボレーションにより、TripoSR をリリースしました。TripoSR は、1秒以内に高品質なアウトプットを作成できる新しい image-to-3D モデルです。詳…

初めに 環境 準備 実行 初めに 新しいTTSのライブラリが出ていたので触っていきます。 以下概要です MeloTTS is a high-quality multi-lingual text-to-speech library by MyShell.ai. Supported languages include: The Chinese speaker supports mixed Chi…

開発環境 内容 開発環境 Mac 内容 特定のフォルダ内のファイルに text という単語を入れたい場合は、以下のように実行します cd /path/to/target_folder && for file in *; do mv "$file" "text$file"; done これによって temp.text というファイルの場合は…

初めに 環境 変換コード 実行 初めに TTSの学習データを作る際に 音声コーパスにはよく ITAコーパスが用いられることがあります。このコーパスは以下のフォーマットで作成されています. ファイル名:本文,ヨミ こちらを学習に使う際にヨミの部分は、必要がな…

初めに 環境 準備 実行 初めに 音声処理をする際にフォルダ内に音声ファイルがあるかを確認したいと思う時があります。その際に使用できる簡単なスクリプトを作ります 環境 L4 GPU ubuntu22.04 準備 必要なライブラリを入れます sudo apt update sudo apt in…

初めに 環境 LoRAモデルの作成(一部割愛) llama.cppでの変換 LoRAのテスト 初めに 以前に独自のデータセットをQLoRAを使い fine tuningを行いました。ここで作られてたLoRAモデルをllama.cppでも使っていきたいと思います ayousanz.hatenadiary.jp 今回はつ…

初めに 環境 準備 ライブラリの追加 モデルのロード 実行 サンプルプロンプト まどマギプロンプト 使用リソース 初めに Swallow-7bよりも精度が高いモデルが出たみたいなので触ってみます huggingface.co まどマギプロンプトの場合は、以下のようになります …

初めに 環境 準備 実行 備考 初めに 背景を透過できる画像生成ができるLayerDiffusionが出てきたので触っていきます。今回はColob版が公開されていたのでこちらでやっていきます LayerDiffusion 能用了！作者更新了 README ，Forge 版已优先支持了基础的图像…

初めに デモ 開発環境 準備 分析手順 データをダウンロード・ロード WAND-SNRを使って音声データの分析 分析結果をヒストグラムで表示 WADA-SNR値が100以上のデータ個数を取得 備考 Windowsでのプロセスエラー対応 並列処理対応 初めに reazon-research/reaz…