TransformersのOptimumを使ってモデルをonnxに変換する

開発環境

  • Ubutntu 22.02

準備

まずは以下のライブラリをインストールします

python -m pip install optimum

モデルの変換

例として、cyberagent/open-calm-smallを変してみます。 変換する際には、以下のコマンドで変換することができます。

optimum-cli export onnx --model cyberagent/open-calm-small open-calm-small.onnx --trust

ただモデルが対応していない場合は、カスタムモデルとして対応する必要があります (調査中)

huggingface.co

変換した後は、以下のように変換後のモデルが出力されます