Python

画像処理・クラスタリングを用いて画像内の色を単色化する

初めに 開発環境 アプローチの方針 ライブラリのインストール k-means法 デモ コード DBSCAN法 デモ コード GMM法 デモ コード 初めに ある画像から近い色同士で色をまとめてほしい時があります。この際に使用できる画像処理やクラスタリングの手法を試して…

GCP-GPUでのCould not load library libcudnn_cnn_train.so.8.のエラー対応

初めに 開発環境 エラー詳細 解決方法 参考記事 初めに AI周りの学習でtorchを使うことがありますが、cudannのエラーによって学習が始めらない問題にぶつかったので解決方法をメモしておきます 開発環境 GCP torch version : 2.3.0+cu121 cuda 12.1 Python 3…

指定したディレクトリ内のすべてのwavファイルのパスを再帰的に取得してtxtファイルに保存する

開発環境 詳細 開発環境 Windows 11 Python 3.11.7 詳細 以下のコードで指定したディレクトリ内のwavファイルのパスを一覧にしたテキストファイルが出力されます # 指定したディレクトリ内のすべてのファイルのパスを再帰的に取得し、txtファイルに保存する…

ITAコーパスをファイル名と本文のみに変換するスクリプトを作成する

初めに 環境 変換コード 実行 初めに TTSの学習データを作る際に 音声コーパスにはよく ITAコーパスが用いられることがあります。このコーパスは以下のフォーマットで作成されています. ファイル名:本文,ヨミ こちらを学習に使う際にヨミの部分は、必要がな…

フォルダ内にある音声ファイルの合計を計算する

初めに 環境 準備 実行 初めに 音声処理をする際にフォルダ内に音声ファイルがあるかを確認したいと思う時があります。その際に使用できる簡単なスクリプトを作ります 環境 L4 GPU ubuntu22.04 準備 必要なライブラリを入れます sudo apt update sudo apt in…

reazon-research/reazonspeech(small)の音声データをWADA-SNRで信号対雑音比のデータ分析をする

初めに デモ 開発環境 準備 分析手順 データをダウンロード・ロード WAND-SNRを使って音声データの分析 分析結果をヒストグラムで表示 WADA-SNR値が100以上のデータ個数を取得 備考 Windowsでのプロセスエラー対応 並列処理対応 初めに reazon-research/reaz…

WADA SNRを使ってreazon-research/reazonspeechの音声を評価する

初めに デモ 開発環境 準備 実装 初めに WADA SNRを使って音声の評価ができるみたいなので、以下を使って実際に試してみます gist.github.com デモ 実行すると以下のようなログが表示されます Calculated SNR: 13.775574879980502 開発環境 Windows 11 Pytho…

reazonspeech-nemo-v2を使ってフォルダ内にある音声ファイルの文字起こしをしてCSVとJsonに保存する

初めに デモ 開発環境 準備 文字お越し及びファイル保存 エラー対応 CUDAがenabledになっていない場合 ReazonSpeech/pkg/nemo-asrのインストールが失敗する 参考サイト 初めに STTやTTSの学習等をする際に文字データが必要になるのですが、音声だけある場合…

faster-whisper+Dockerで音声からテキスト変換(STT)のAPIを実装する

初めに デモ 開発環境 実装 環境を作る モデルのロードと初期化 STTのAPIの作成 初めに 音声認識をしたい場合whisperを使うことが多いですが、より速くより使いやすくしたいと思ってたので実装をしてみました! DockerでCUDAのver管理やGPUも使えるようにし…

はてなブログとZennの投稿記事一覧をNotionのDatabaseにGitHubActionsを使って自動でまとめる

初めに 環境 準備 環境構築 Notion APIの取得 はてなブログの一覧を取得する Zennの記事一覧を取得する NotionのDBに記事を追加する それぞれのデータを取得して、日付ソートして書き込む GitHub Actionsを使って定期的に実行する 初めに 自分のポートフォリ…

CUDA Toolkit 11.7をインストールする

初めに エラー 対応方法 初めに magic-animateを触る際にCUDAのver問題で困ったので、解決策のメモ github.com エラー RuntimeError: Detected that PyTorch and torchvision were compiled with different CUDA versions. PyTorch has CUDA Version=11.7 an…

独自のDockerImageを作成して、GitHub ActionsからDocker Hubにpushする【Docker】【GitHubActions】

はじめに 環境 準備 docker hubのTokenを作成 GitHub Secretの登録 Docker imageの作成 GitHub Actionsによる自動化 DockerHubにpush時にuploadをするActionの作成 uploadしたimageのデバッグ用のActionの作成 はじめに Dockerを使っていると自分でimageをカ…

PythonでSlackにテキストや画像を送信する【SlackAPI】

環境 準備 ライブラリの準備 tokenの準備 実装 テキストを送信する ファイル(画像)を送信する 環境 Python3.10 準備 ライブラリの準備 slackが公式に slack-sdk というライブラリを公開しているので、こちらをインストールします pip install slack-sdk toke…

EMNISTのデータを学習してONNXを出力する【Python】【ML】

はじめに やりたいこと 環境 環境構築 Dockerfile docker-compose 実装 結果 参考サイトおよびChatGPTの返答内容 データセット引用元 参考サイト ChatGPT はじめに UnityのBarracudaでMLを使ったプロジェクトを作成したいので、準備としてデータを作成してい…

Notionのタスクのステータス変更をDiscordでメッセージを送る【Discord.py,Notion API,GitHub Actions,cron-job】

はじめに 完成物 やりたいこと 準備 Notionの インテグレーション(API)の作成と登録 DiscordのWebHookの作成 GitHub のpersonal tokenの作成 自動化内容と実装 1. Notionの特定のタスク状態が変更されたときに担当者及び確認者 Discordに通知を送る 2. 一日…

Notionのタスク 一覧でタスクがDoneになったときに完了日付を自動入力する【Notion,Python,GitHub Actions】

はじめに 成果物 実装簡易説明 Notion DB 取得時に query Filter GitHub Actionsから環境変数を読み込む Notionのpage Property(date) の更新 その他参考サイト はじめに 最近 Notionを使ってタスク管理を再度始めました(昔やっていたのですが、飽きてしまっ…

NotionにTrelloのアーカイブを毎日記録する【Trello,Notion,Python,GCE】

自分のやったタスクを記録しておきたいとおもい,前にEvernoteにTrelloのアーカイブを保存する記事を書きました. その後Notionを知りこちらのほうが便利だと思い乗り換えたのですが,アーカイブの保存のスクリプトの切り替えがやっと終わったのでメモです G…

NotionAPI(Python)を触ってみる【Notion,Python】

最近Notionというものを教えてもらいました!!(今更ですが) TrelloとEvernoteから乗り換えるのにいろいろと連携したりGASとの連携とかもあるので,scriptの移行のためにNotionAPIを触っていきたいと思います <span style="color: #ff0000">NotionのAPIは2020/12現在 APIは非公式になって</span>…

PySide2とQtDesigerでGUIのアプリの作成Memo【PySide2,QtDesiger,Python】

メモついでに書いておきます(書き途中) MacでのQtDesigerのpath MacでのQtDesigerのpath Anacondaを使用して入れた場合以下のpathにあります /Users/user name/opt/anaconda3/envs/pyside2/bin/Designer.app

PySide2で音声を録音・文字起こしをする【PySide2,Python】

PySide2でリアルタイムで文字起こし,音声の録音をやってみたいと思います 実行結果 準備 音声を扱うためのライブラリ 録音をするためにライブラリ Code 参考サイト 実行結果 実行すると録音の音声ファイル recorded.wavとその録音音声内容のrecordedText.tx…

GCEでpythonを毎日cronで実行する【Python,GCP,GCE】

twitterの解析等で使いたく,GCE上で毎日決まった時間に実行されるようにしてみました GCEとは GCEのインスタンスを立ち上げる GCEにAnacondaを入れる GCEでcronの設定 修正 GCEとは qiita.com GCEのインスタンスを立ち上げる qiita.com qiita.com qiita.com…

キーワードを指定して自動フォローする(twitter)

twitterの自動化を進めていて,アカウントのフォロワーを増やすにはまずフォローしないと始まらない! でも,特定のキーワードの人を探してぽちぽちって大変ですよね・・・ 自動化しよう!!ってことで,まだ手作業も残りますが自動化しました (注:私のアカ…