初めに
ある声とある声がどのくらい似ているかを測るための方法はいくつかありますが、今回は Resemblyzer の埋め込みモデルを使ってみます
開発環境
- Python 3.11
歌声ボーカルデータの取得
テスト用に 音楽データのボーカルのみを取得します
yt-dlとUVRを使って 何種類かのボーカルデータを取得します
youtubeの動画URLを指定してyt-dlでダウンロード処理は以下になります
import yt_dlp url = 'url' ydl_opts = { 'format': 'bestaudio/best', 'postprocessors': [{ 'key': 'FFmpegExtractAudio', 'preferredcodec': 'mp3', 'preferredquality': '192', }], } with yt_dlp.YoutubeDL(ydl_opts) as ydl: ydl.download([url])
またダウンロードした音声データからボーカルだけを抽出する処理は以下になります
import os,sys,torch,warnings,pdb warnings.filterwarnings("ignore") import librosa import importlib import numpy as np import hashlib , math from tqdm import tqdm from uvr5_pack.lib_v5 import spec_utils from uvr5_pack.utils import _get_name_params,inference from uvr5_pack.lib_v5.model_param_init import ModelParameters from scipy.io import wavfile class _audio_pre_(): def __init__(self, model_path,device,is_half): self.model_path = model_path self.device = device self.data = { # Processing Options 'postprocess': False, 'tta': False, # Constants 'window_size': 512, 'agg': 10, 'high_end_process': 'mirroring', } nn_arch_sizes = [ 31191, # default 33966,61968, 123821, 123812, 537238 # custom ] self.nn_architecture = list('{}KB'.format(s) for s in nn_arch_sizes) model_size = math.ceil(os.stat(model_path ).st_size / 1024) nn_architecture = '{}KB'.format(min(nn_arch_sizes, key=lambda x:abs(x-model_size))) nets = importlib.import_module('uvr5_pack.lib_v5.nets' + f'_{nn_architecture}'.replace('_{}KB'.format(nn_arch_sizes[0]), ''), package=None) model_hash = hashlib.md5(open(model_path,'rb').read()).hexdigest() param_name ,model_params_d = _get_name_params(model_path , model_hash) mp = ModelParameters(model_params_d) model = nets.CascadedASPPNet(mp.param['bins'] * 2) cpk = torch.load( model_path , map_location='cpu') model.load_state_dict(cpk) model.eval() if(is_half==True):model = model.half().to(device) else:model = model.to(device) self.mp = mp self.model = model def _path_audio_(self, music_file ,ins_root=None,vocal_root=None): if(ins_root is None and vocal_root is None):return "No save root." name = os.path.splitext(os.path.basename(music_file))[0] if(ins_root is not None):os.makedirs(ins_root, exist_ok=True) if(vocal_root is not None):os.makedirs(vocal_root , exist_ok=True) X_wave, y_wave, X_spec_s, y_spec_s = {}, {}, {}, {} bands_n = len(self.mp.param['band']) # print(bands_n) for d in range(bands_n, 0, -1): bp = self.mp.param['band'][d] if d == bands_n: # high-end band X_wave[d], _ = librosa.load(music_file, sr=bp['sr'], mono=False, dtype=np.float32, res_type=bp['res_type']) if X_wave[d].ndim == 1: X_wave[d] = np.asfortranarray([X_wave[d], X_wave[d]]) else: # lower bands X_wave[d] = librosa.resample(X_wave[d+1], orig_sr=self.mp.param['band'][d+1]['sr'], target_sr=bp['sr'], res_type=bp['res_type']) # Stft of wave source X_spec_s[d] = spec_utils.wave_to_spectrogram_mt(X_wave[d], bp['hl'], bp['n_fft'], self.mp.param['mid_side'], self.mp.param['mid_side_b2'], self.mp.param['reverse']) # pdb.set_trace() if d == bands_n and self.data['high_end_process'] != 'none': input_high_end_h = (bp['n_fft']//2 - bp['crop_stop']) + ( self.mp.param['pre_filter_stop'] - self.mp.param['pre_filter_start']) input_high_end = X_spec_s[d][:, bp['n_fft']//2-input_high_end_h:bp['n_fft']//2, :] X_spec_m = spec_utils.combine_spectrograms(X_spec_s, self.mp) aggresive_set = float(self.data['agg']/100) aggressiveness = {'value': aggresive_set, 'split_bin': self.mp.param['band'][1]['crop_stop']} with torch.no_grad(): pred, X_mag, X_phase = inference(X_spec_m,self.device,self.model, aggressiveness,self.data) # Postprocess if self.data['postprocess']: pred_inv = np.clip(X_mag - pred, 0, np.inf) pred = spec_utils.mask_silence(pred, pred_inv) y_spec_m = pred * X_phase v_spec_m = X_spec_m - y_spec_m if (ins_root is not None): if self.data['high_end_process'].startswith('mirroring'): input_high_end_ = spec_utils.mirroring(self.data['high_end_process'], y_spec_m, input_high_end, self.mp) wav_instrument = spec_utils.cmb_spectrogram_to_wave(y_spec_m, self.mp,input_high_end_h, input_high_end_) else: wav_instrument = spec_utils.cmb_spectrogram_to_wave(y_spec_m, self.mp) print ('%s instruments done'%name) wavfile.write(os.path.join(ins_root, 'instrument_{}.wav'.format(name) ), self.mp.param['sr'], (np.array(wav_instrument)*32768).astype("int16")) # if (vocal_root is not None): if self.data['high_end_process'].startswith('mirroring'): input_high_end_ = spec_utils.mirroring(self.data['high_end_process'], v_spec_m, input_high_end, self.mp) wav_vocals = spec_utils.cmb_spectrogram_to_wave(v_spec_m, self.mp, input_high_end_h, input_high_end_) else: wav_vocals = spec_utils.cmb_spectrogram_to_wave(v_spec_m, self.mp) print ('%s vocals done'%name) wavfile.write(os.path.join(vocal_root , 'vocal_{}.wav'.format(name) ), self.mp.param['sr'], (np.array(wav_vocals)*32768).astype("int16")) if __name__ == '__main__': if len(sys.argv) < 2: print("Usage: python script_name.py <audio_path>") sys.exit(1) audio_path = sys.argv[1] device = 'cuda' is_half = False model_path = 'uvr5_weights/2_HP-UVR.pth' save_path = 'opt' pre_fun = _audio_pre_(model_path=model_path, device=device, is_half=is_half) pre_fun._path_audio_(audio_path, save_path, save_path)
これは 以下のように 引数にファイル名を入れて指定します
python .\separate.py ファイル名
埋め込みモデルを使って指定した歌声から近いボーカスを取得
次に埋め込みモデルから指定した歌声から 複数あるボーカルの中から近い歌声を探します
まずは 以下でライブラリを追加します
uv pip install resemblyzer torch librosa numpy scipy scikit-learn
次に 以下のコードを実行して 検索をします
from resemblyzer import VoiceEncoder, preprocess_wav from pathlib import Path import numpy as np from sklearn.metrics.pairwise import cosine_similarity import librosa # librosaもインポートリストに追加しておくと良いでしょう def get_embedding_resemblyzer(audio_path_str, encoder): """指定された音声ファイルからResemblyzerを使って埋め込みを抽出する""" fpath = Path(audio_path_str) if not fpath.exists(): print(f"エラー: 音声ファイルが見つかりません - {fpath}") return None # Resemblyzerは内部でlibrosaを使ってオーディオをロード・リサンプリングしますが、 # preprocess_wavに渡す前に自分でロードしてサンプリングレートを確認・変換することも可能です。 # ここではpreprocess_wavに任せます。 try: wav = preprocess_wav(fpath) # Resemblyzerの音声前処理関数 embedding = encoder.embed_utterance(wav) return embedding except Exception as e: print(f"エラー: {fpath} の処理中にエラーが発生しました: {e}") return None def main(): # 音声エンコーダのインスタンス化 (事前学習済みモデルが自動でロードされる) # デバイスを指定することも可能 encoder = VoiceEncoder(device="cuda") # GPUの場合 # 今回はデフォルト (CPU) を使用 try: encoder = VoiceEncoder() except Exception as e: print(f"VoiceEncoderの初期化に失敗しました: {e}") print("モデルファイルのダウンロードに問題がある可能性があります。インターネット接続を確認してください。") return target_audio_path = Path("vocal_target.wav") # 比較対象の音声リスト (あなたの持つ音声データ) candidate_audio_paths = [ Path("data/vocal_test.wav"),] print(f"ターゲット音声: {target_audio_path}") print("候補音声リスト:") for p in candidate_audio_paths: print(f"- {p}") print("-" * 30) # ターゲット音声の埋め込みを抽出 target_embedding = get_embedding_resemblyzer(target_audio_path, encoder) if target_embedding is None: print("ターゲット音声の埋め込みが抽出できませんでした。処理を終了します。") return # 候補音声の埋め込みを抽出し、類似度を計算 similarities = [] for cand_path in candidate_audio_paths: print(f"\n候補音声 {cand_path} の処理中...") cand_embedding = get_embedding_resemblyzer(cand_path, encoder) if cand_embedding is not None: # コサイン類似度を計算 similarity = cosine_similarity(target_embedding.reshape(1, -1), cand_embedding.reshape(1, -1))[0][0] similarities.append((str(cand_path), similarity)) # パスを文字列として保存 print(f" 類似度: {similarity:.4f}") else: print(f" {cand_path} の埋め込み抽出に失敗しました。") # 類似度が高い順にソート similarities.sort(key=lambda x: x[1], reverse=True) print("\n--- 類似度ランキング (Resemblyzer) ---") for path_str, score in similarities: print(f"{path_str}: {score:.4f}") if similarities: print(f"\n最も近いと思われる音声: {similarities[0][0]} (類似度: {similarities[0][1]:.4f})") else: print("\n類似度を計算できる候補がありませんでした。") if __name__ == "__main__": main()
出力結果は以下のようになります
最も近いと思われる音声: data\vocal_test.wav (類似度: 0.9697)
