mmnga/rinna-nekomata-14b-instruction-ggufをGoogleColobで動かす

AI

はじめに

ayousanz.hatenadiary.jp

もうGGUFが出ていたので動かしていきます

huggingface.co

環境

準備

llama.cppのダウンロードをします

!git clone https://github.com/ggerganov/llama.cpp.git
%cd llama.cpp
!make -j

次にモデルをダウンロードします。今回は、比較的精度とサイズのバランスがいい rinna-nekomata-14b-instruction-q4_K_M にします

!wget https://huggingface.co/mmnga/rinna-nekomata-14b-instruction-gguf/resolve/main/rinna-nekomata-14b-instruction-q4_K_M.gguf

推論

翻訳

実行内容

!./main -m 'rinna-nekomata-14b-instruction-q4_K_M.gguf' -n 128 -p '### 指示:次の日本語を英語に翻訳してください。\n\n### 入力: 大規模言語モデル（だいきぼげんごモデル、英: large language model、LLM）は、多数のパラメータ（数千万から数十億）を持つ人工ニューラルネットワークで構成されるコンピュータ言語モデルで、膨大なラベルなしテキストを使用して自己教師あり学習または半教師あり学習によって訓練が行われる。 \n\n### 応答:'

結果

### 指示:次の日本語を英語に翻訳してください。\n\n### 入力: 大規模言語モデル（だいきぼげんごモデル、英: large language model、LLM）は、多数のパラメータ（数千万から数十億）を持つ人工ニューラルネットワークで構成されるコンピュータ言語モデルで、膨大なラベルなしテキストを使用して自己教師あり学習または半教師あり学習によって訓練が行われる。 \n\n### 応答: [end of text]

まどマギ

実行内容

!./main -m 'rinna-nekomata-14b-instruction-q4_K_M.gguf' -n 1024 --temp 0.3 -p '### 指示:以下の内容に対して情報を提示してください。\n\n### 入力: まどマギで一番可愛いキャラはなんですか？ \n\n### 応答:'

結果

### 指示:以下の内容に対して情報を提示してください。\n\n### 入力: まどマギで一番可愛いキャラはなんですか？ \n\n### 応答:まどマギの一番可愛いキャラは、魔法少女になった暁美ほむらです。 [end of text]