NVidia MAXINE AFX SDKを使って音声のノイズ除去をする

初めに

音声のノイズ除去はいろいろ方法がありますが、MAXINE-AFX-SDKを試していきます

環境

準備

まずは以下でライブラリをcloneしてきます

git clone https://github.com/NVIDIA/MAXINE-AFX-SDK.git

次に NVIDIA Broadcast ダウンロード センターから自分のRTXにあったものをダウンロードしてインストールをします

実行

denoiser48k_cfg.txt がinput/outputのファイルになります。

# Effect
# Supported values are: denoiser/dereverb/dereverb_denoiser/aec/superres
effect denoiser
# Noisy input file
# 48k Input file is picked from denoiser folder. 
# User can modify below line to pick their own file as input.
input_wav input_files\denoiser\48k\Air_Conditioning_48k.wav
# Denoised audio data will be saved to this file.
# Output can be dumped at user specifid location too. In this case, Output will be saved to current folder.
output_wav Air_Conditioning_48k_OUT_new.wav
# Set to 1 for real time mode i.e. audio data will be processed 
# at same speed like that of an audio input device like
# microphone. Since the denoising is faster that real time, the
# processing will be equal to audio file duration.
real_time 0
# Intensity Ratio
intensity_ratio 1.0
# Enable VAD
enable_vad 0
# Point this to the effect file
model C:\Program Files\NVIDIA Corporation\NVIDIA Audio Effects SDK\models\denoiser_48k.trtpkg 

run_denoiser_48k.bat を実行するとノイズ除去がされます。

NVIDIA Broadcastとの比較

NVIDIAから NVIDIA Broadcastも出ています。こちらはリアルタイム用?みたいですが、以下のパスにモデルはあるので置き換えて精度を比較しています。

パス(Broadcastがインストール済みの前提)

C:\ProgramData\NVIDIA\NGX\models\nvbcast_afx_bnr_v0_7\versions\1793\files\190_E658703

以下は、Audacityで波長を比較したものです

  • 上 : NVidia MAXINE AFXのデフォルトモデル
  • 下 : NVIDIA Broadcastのモデルを使った場合

参考記事

six-loganberry-ba7.notion.site