cyberagent/calm2-7b-chat-dpo-experimentalを動かす

AI

初めに

DPOを採用したチューニングでスコアが上がったとのことなので触ってみます

モデルは以下です

huggingface.co

環境

  • L4 GPU
  • ubuntu22.04

準備

ライブラリを入れていきます

!pip install torch
!pip install accelerate
!pip install transformers

実行

モデルのロード

import torch
import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

assert transformers.__version__ >= "4.34.1"

model = AutoModelForCausalLM.from_pretrained("cyberagent/calm2-7b-chat-dpo-experimental", device_map="auto", torch_dtype=torch.bfloat16)
tokenizer = AutoTokenizer.from_pretrained("cyberagent/calm2-7b-chat-dpo-experimental")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

サンプルプロンプト

推論

prompt = """USER: AIによって私達の暮らしはどのように変わりますか？
ASSISTANT: """

token_ids = tokenizer.encode(prompt, return_tensors="pt")
output_ids = model.generate(
    input_ids=token_ids.to(model.device),
    max_new_tokens=300,
    do_sample=True,
    temperature=0.8,
    streamer=streamer,
)

結果

人工知能（AI）は、人々の生活に様々な影響を与えています。以下は、AIによって変わる可能性のある生活の一例です。

1. 仕事：AIによって、事務作業やルーティン化された業務の多くが自動化される可能性があります。これにより、人々はよりクリエイティブな仕事や、AIが対応できないような複雑なタスクに集中できるようになります。しかし、AIによって多くの仕事が奪われる可能性もあり、雇用問題も発生します。

2. 健康管理：AIを搭載した健康管理機器やアプリにより、生活習慣病の予防や、健康状態のモニタリングが可能になります。また、AIによる医師の診断サポートも開発されており、より良い治療を受けることができる可能性があります。

3. エンターテインメント：AI技術を使ったゲーム、映画、音楽などのエンターテインメントが増加しています。これにより、人々はより豊かで多様なエンターテインメントを楽しむことができます。

4. 買い物：AI技術を使ったショッピングアシスタントにより、買い物客が自分に最適な商品を選ぶことができるようになります。また、オンラインショッピングにおいてはAIによる自動化が進み、よりスムーズな買い物体験が可能となります。

5. 教育：AI技術を使った教育アプリやオンライン授業により、より効率的な学習が可能になります。また、AIによる個別の学習アドバイスや、成績管理など、学生をサポートする役割も期待されています。

このように、AIは私達の生活を便利で豊かにする可能性を秘めていますが、同時に雇用問題や格差の問題など、多くの課題も抱えています。AI技術がどのように発展していくのか、それによって私達の生活がどう変わるのか、

まどマギプロンプト

推論

prompt = """USER: まどマギで一番可愛いキャラはなんですか？
ASSISTANT: """

token_ids = tokenizer.encode(prompt, return_tensors="pt")
output_ids = model.generate(
    input_ids=token_ids.to(model.device),
    max_new_tokens=300,
    do_sample=True,
    temperature=0.8,
    streamer=streamer,
)

結果

まどマギのキャラクターの中で、一番可愛いという観点でのランキングは、個人の好みや主観に大きく左右されるものであり、明確に「このキャラクターが可愛い」という定義は難しいです。
しかし、主人公・鹿目まどか、巴マミ、美樹さやか、佐倉杏子、暁美ほむらなど、様々なキャラクターが可愛いとされており、それぞれのキャラクターに人気が集まっています。また、キャラクター単体だけでなく、物語の世界観やキャラクター同士の絡み合いによっても、その魅力は変わってくるでしょう。