読む 編集 履歴表示

GPT-J

ウィキペディアから、無料の百科事典
GPT-J
ロゴ
ロゴ
開発元 EleutherAI（英語版）
初版 2021年6月9日（5年前） (2021-06-09)
種別
ライセンス Apache License 2.0
公式サイト 6b.eleuther.ai ウィキデータを編集
テンプレートを表示

GPT-J（GPT-J-6B、ジーピーティー・ジェイ）は、EleutherAI（英語版）によって2021年に開発されたオープンソースの大規模言語モデル（LLM）である。名前が示すように、プロンプトから続く人間のようなテキストを生成するように設計された生成型事前学習済みトランスフォーマーモデルである。名前の任意の「6B」は、60億のパラメータを持つことを指す[1]。モデルはGitHubで入手可能だが、ウェブインターフェースはもはやモデルと通信しない。開発は2021年に停止した[2]。

構造

GPT-Jは60億のパラメータを持つGPT-3類似のモデルである。GPT-3と同様に、テキストがどのように続くかを予測することによって自然言語処理（NLP）タスクを解決するように設計された自己回帰型、デコーダのみのトランスフォーマーモデルである。

モデルは28のトランスフォーマー層と16のアテンションヘッドを持つ。語彙サイズは50257トークンで、GPT-2と同じである[3]。コンテキストウィンドウサイズは2048トークンである[4]。

Pileデータセット（英語版）で訓練され[5]、並列化スキームを処理するためにJAXのMesh Transformer JAXライブラリを使用した[6][7]。

GPT-Jはプロンプトから英語のテキストを生成するように設計された。他の言語への翻訳やテキスト生成、あるいは特定のタスクのためにモデルを微調整することなく性能を発揮するようには設計されていなかった。すべてのLLMと同様に、事実に基づく正確な情報を提供するようにはプログラムされておらず、確率に基づいてテキストを生成するだけである[8]。

脚注

注釈

出典

  1. ↑ “GPT-J 6B”. Hugging Face (2023年5月3日). 2023年6月13日閲覧。
  2. ↑ Wang, Ben (2025-01-25), kingoflolz/mesh-transformer-jax 2025年1月27日閲覧。
  3. ↑ “GPT-J 6B”. Hugging Face (2023年5月3日). 2023年6月13日閲覧。
  4. ↑ “GPT-J”. GitHub. Hugging Face. 2023年6月23日閲覧。
  5. ↑ “GPT-J 6B”. Hugging Face (2023年5月3日). 2023年6月13日閲覧。
  6. ↑ “GPT-J 6B”. Hugging Face (2023年5月3日). 2023年6月13日閲覧。
  7. ↑ “Mesh Transformer JAX”. GitHub (2021年5月). 2023年6月13日閲覧。
  8. ↑ “GPT-J 6B”. Hugging Face (2023年5月3日). 2023年6月13日閲覧。