GoogleColobでstabilityai/stable-audio-open-1.0を動かす

AI

初めに

Audio生成でかなり精度が高いモデルが出たので触ってみます

huggingface.co

開発環境

ライブラリのインストール

# 必要なパッケージのインストール
!pip install torch torchaudio einops stable-audio-tools

シークレットトークンの設定

from google.colab import drive
drive.mount('/content/drive')

import os
from google.colab import auth

# Colabのシークレットに設定したトークンを取得
auth.authenticate_user()
token = os.getenv('HF_TOKEN')

if token is None:
    raise ValueError("HF_TOKENが設定されていません。Colabのシークレット機能を使用して設定してください。")

os.environ['HF_TOKEN'] = token

!pip install huggingface_hub

モデルのロードおよび生成

import torch
import torchaudio
from einops import rearrange
from stable_audio_tools import get_pretrained_model
from stable_audio_tools.inference.generation import generate_diffusion_cond
from huggingface_hub import login

# Hugging Faceにログイン
login(token=os.environ['HF_TOKEN'])

# Download model
model, model_config = get_pretrained_model("stabilityai/stable-audio-open-1.0")
sample_rate = model_config["sample_rate"]
sample_size = model_config["sample_size"]

model = model.to(device)

# Set up text and timing conditioning
conditioning = [{
    "prompt": "128 BPM tech house drum loop",
    "seconds_start": 0, 
    "seconds_total": 30
}]

# Generate stereo audio
output = generate_diffusion_cond(
    model,
    steps=100,
    cfg_scale=7,
    conditioning=conditioning,
    sample_size=sample_size,
    sigma_min=0.3,
    sigma_max=500,
    sampler_type="dpmpp-3m-sde",
    device=device
)

# Rearrange audio batch to a single sequence
output = rearrange(output, "b d n -> d (b n)")

# Peak normalize, clip, convert to int16, and save to file
output = output.to(torch.float32).div(torch.max(torch.abs(output))).clamp(-1, 1).mul(32767).to(torch.int16).cpu()
torchaudio.save("output.wav", output, sample_rate)