初めに 環境 準備 実行 初めに 日本語の埋め込みモデルでスコアが高い intfloat/e5-mistral-7b-instructを触ってみます 参考(JapaneseEmbeddingEval) github.com 環境 L4 GPU ubuntu22.04 準備 ライブラリの追加をします !pip install flash_attn -U !pip in…

初めに 環境 準備 実行 初めに 公開されたので触っていきます 東北大BERT-largeに対し、batch size 8192, 系列長 256で、日本語WikipediaやMMARCOといった弱教師データによる対照事前学習を行ったモデルであるshioriha-large-ptを公開しました。文埋め込みに…