インストール手順

Linux上で動かせるローカルの大規模言語モデル（LLM）には、いくつかの選択肢があります。以下は、代表的なLLMとその使い方の簡単なガイドです。

1. GPT-NeoX

インストール方法

1. Pythonとpipのインストール:

   sudo apt update
   sudo apt install python3 python3-pip
   

2. Transformersライブラリのインストール:

   pip install transformers
   

3. 必要なパッケージのインストール:

   pip install torch
   

使い方

1. モデルのロード:

   from transformers import GPTNeoXForCausalLM, GPTNeoXTokenizer
   
   model_name = "EleutherAI/gpt-neox-20b"  # モデルの名前
   model = GPTNeoXForCausalLM.from_pretrained(model_name)
   tokenizer = GPTNeoXTokenizer.from_pretrained(model_name)
   

2. テキスト生成:

   input_text = "こんにちは、今日はどんな天気ですか？"
   inputs = tokenizer(input_text, return_tensors="pt")
   outputs = model.generate(inputs["input_ids"], max_length=50)
   print(tokenizer.decode(outputs[0], skip_special_tokens=True))
   

2. BLOOM

インストール方法

1. Hugging FaceのTransformersライブラリのインストール:

   pip install transformers
   

2. 必要なパッケージのインストール:

   pip install torch
   

使い方

1. モデルのロード:

   from transformers import BloomForCausalLM, BloomTokenizerFast
   
   model_name = "bigscience/bloom-560m"
   model = BloomForCausalLM.from_pretrained(model_name)
   tokenizer = BloomTokenizerFast.from_pretrained(model_name)
   

2. テキスト生成:

   input_text = "こんにちは、今日はどんな天気ですか？"
   inputs = tokenizer(input_text, return_tensors="pt")
   outputs = model.generate(inputs["input_ids"], max_length=50)
   print(tokenizer.decode(outputs[0], skip_special_tokens=True))
   

3. LLaMA

インストール方法