2023-12-23から1日間の記事一覧

LLMのrinna/nekomata-14bをGGUFに変換して動かす

AI

はじめに 環境 開発環境構築 LLMをGGUFに変換 llama.cppの準備 モデルのダウンロード GGUFに変換 GGUFを量子化 GGUF化したモデルを動かす llama.cppをGPUで動かす環境を構築 cmakeをインストール CUDA Toolkitをインストール cuBLASを使えるようにする cuBLA…