2023-10-24から1日間の記事一覧

adept/fuyu-8bをJupyter Notebookで4bit量子化で動かす【LLM】

AI

はじめに 環境 実行 準備 推論 エラーが出た時 Gitが入っていないと言われた場合 GPU RAMが足りないと言われ場合 はじめに 以下のツイートを見て、マルチモーダルの軽量LLMが出ていることを知ったので動かしてみます. 手元の環境では、量子化なしではGPU RAM…