sbintuitions/sarashina2-70bを動かす

AI

初めに

ayousanz.hatenadiary.jp

開発環境

準備

以下のライブラリをインストールします

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu121
pip install transformers==4.46.2 bitsandbytes==0.44.1 accelerate==1.1.1 sentencepiece==0.2.0

実行

公式のReadMeに記載があるサンプルコードを動かしていきます

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed
 
model = AutoModelForCausalLM.from_pretrained("sbintuitions/sarashina2-70b", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-70b")
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)
 
text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)

for t in text:
  print(t)

推論の結果は以下になります

{'generated_text': 'おはようございます、今日の天気は晴れです。今日は、少し暑くなりそうです。\n今日は、夏至の日です。\n一年のうちで、昼の時間が'}
{'generated_text': 'おはようございます、今日の天気は曇天、雨の予報が出ています。\n今日からまた１週間が始まりました。\n今朝は、曇り空で涼しい朝です。昨日より'}
{'generated_text': 'おはようございます、今日の天気は曇り空、少し肌寒いです。\nこの土日に、桜を求めて出掛けてきました。\n天気には、恵まれましたが、満開'}