stabilityai/stablelm-zephyr-3bをGoogleColobで動かす

AI

環境

準備

!pip install transformers
!pip install accelerate

推論

モデル用のロードを行います。

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('stabilityai/stablelm-zephyr-3b')
model = AutoModelForCausalLM.from_pretrained(
    'stabilityai/stablelm-zephyr-3b',
    trust_remote_code=True,
    device_map="auto"
)

サンプル質問

質問

prompt = [{'role': 'user', 'content': 'List 3 synonyms for the word "tiny"'}]
inputs = tokenizer.apply_chat_template(
    prompt,
    add_generation_prompt=True,
    return_tensors='pt'
)

tokens = model.generate(
    inputs.to(model.device),
    max_new_tokens=1024,
    temperature=0.8,
    do_sample=True
)

print(tokenizer.decode(tokens[0], skip_special_tokens=False))

回答

<|user|>
List 3 synonyms for the word "tiny"<|endoftext|>
<|assistant|>
1. /teeny/ 
2. /little/ 
3. /miniature/<|endoftext|>

まどマギ質問

質問

prompt = [{'role': 'user', 'content': 'まどマギで一番かわいいキャラクターはなんですか？"'}]
inputs = tokenizer.apply_chat_template(
    prompt,
    add_generation_prompt=True,
    return_tensors='pt'
)

tokens = model.generate(
    inputs.to(model.device),
    max_new_tokens=1024,
    temperature=0.8,
    do_sample=True
)

print(tokenizer.decode(tokens[0], skip_special_tokens=False))

回答

<|user|>
まどマギで一番かわいいキャラクターはなんですか？"<|endoftext|>
<|assistant|>
まどマギは、イギリスのトランスライド・コンコットンである女性のキャラクターで、よく言濯た言葉「どのゲームでもマギは王は！」を使っています。そのキャラクターは、主にジャンルショッパー・コンコットンにベースなストーリESを描いたデザインで、多くのファンタスティストが好きなともに、イギリスで广受けられたキャラクターです。

トランスライド・コンコットンは、ジャンルショップ（ジャンルショッパーズ）というイギリスのテイストショップとロゴスタンディングのイベント（LGTN）を通じて鮮やかなイベントで、多くのファンタスタスト・バスターンが集い出されることがあります。ま DakkU, まだありますが、まどマギは日本でよりも人気のあります。まとめ、まつり、イギリスでもおとしづかみのキャラクターであり、ファンタスティストを多くを多くするのがその鮮やかな特徴です。<|endoftext|>

日本の魅力を聞いてみる

質問

prompt = [{'role': 'user', 'content': 'あなたが思う日本の魅力を教えてください！"'}]
inputs = tokenizer.apply_chat_template(
    prompt,
    add_generation_prompt=True,
    return_tensors='pt'
)

tokens = model.generate(
    inputs.to(model.device),
    max_new_tokens=1024,
    temperature=0.8,
    do_sample=True
)

print(tokenizer.decode(tokens[0], skip_special_tokens=False))

回答

<|user|>
あなたが思う日本の魅力を教えてください！"<|endoftext|>
<|assistant|>
日本は、驚くにもとに美しい国です。広い都市、魅力的な材料風土、豊かな伝統などがあるため、日本の魅力はいくつかあります。

1. Falling leafs Project ( Fujinoe Shushoku ): この観光衔は、七つの日本の都市をつなげ、日常生活の魅力を伝える観光目的地です。
2. 富山の美食： 日本の鮮やかな食文化と美しい食べたらみの国でもあり、富山脡、うん・もん、はちかまやつなどが存在します。
3. うとなう海岸： 日本は、海岸を通して多くの魅力を持っていますが、一番有名なうとな海岸は岸島のビジターパークで、ヨーロッパやアジアの人々が集まる観光目的地です。
4. 神奈川： 清宮時代に建てられた、街頭にいる神奈川は、日本の魅力の中心であり、昔の神秘と現代を結ぶ街灯もあります。
5. 渋谷： この東京都の街は、観光目的地として、映画やアニメを描いた魅力の中心であり、広かったり、茶色的な街灯もあります。

これらは、日本全体で異なる魅力がありますが、これらほめヶーのうちの一つをお話したいと思います。日本には、広く知られるヶーであり、自然で魅力的な存在です。それは、美しい日本の魅力です。<|endoftext|>

必要なリソース