2024-01-23から1日間の記事一覧

GoogleColobで小規模言語モデル(0.15B)の事前学習モデルを作ってみる

AI

はじめに 成果 参考記事からの変更点 環境 環境設定 データセットの構築 トークナイザー準備 事前学習 学習用のパラメータの設定 事前学習の実行 推論 モデルをhuggingfaceにアップグレードする ライブラリのインストールとログイン モデルのアップロード は…