2023-12-21から1日間の記事一覧

rinna/nekomata-14b-instructionを動かす(4bit量子化を含む)

AI

はじめに 環境 準備 推論 モデルのロード 翻訳プロンプト まどマギプロンプト 使用リソース 4bit量子化版 追加ライブラリ モデルのロードの設定 推論 使用リソース はじめに 公開されたので、触っていきます rinnaはQwen-7Bと14Bの日本語継続事前学習モデル…