cl-nagoya/shioriha-large-ptを動かす

初めに

公開されたので触っていきます

環境

  • L4 GPU
  • ubuntu22.04

準備

ライブラリを入れていきます

!pip install -U sentence-transformers
!pip install fugashi
!pip install unidic_lite

実行

サンプルのコードを実行します

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('cl-nagoya/shioriha-large-pt')
embeddings = model.encode(sentences)
print(embeddings)

結果は以下のようになります

[[ 0.239826    0.48606512 -0.4585114  ...  0.12551573  0.37342685
   0.6000814 ]
 [-0.33355263  0.3741393  -0.8048501  ...  0.20616896  0.27591145
  -0.36157683]]