読む 編集 履歴表示

リチャード・サットン

ウィキペディアから、無料の百科事典
リチャード・S・サットン
Richard S. Sutton
人物情報
生誕 Richard Stuart Sutton
1957年または1958年
アメリカ合衆国の旗 アメリカ合衆国 オハイオ州トレド
居住 カナダの旗 カナダ アルバータ州エドモントン
国籍 カナダの旗 カナダ（2015年以降）
アメリカ合衆国の旗 アメリカ合衆国（2017年まで）
出身校 スタンフォード大学 (B.A.)
マサチューセッツ大学アマースト校 (M.S., Ph.D.)
学問
研究分野 計算機科学、人工知能、強化学習、機械学習、認知科学
研究機関 アルバータ大学
アルバータ機械知能研究所 (Amii)
Keen Technologies
（過去）Google DeepMind、AT&Tラボラトリーズ（英語版）、マサチューセッツ大学アマースト校、GTE
博士課程指導教員 アンドリュー・バルト（英語版）
博士課程指導学生 デイビッド・シルバー（英語版）
ドイナ・プレカップ（英語版）
主な業績 時間差分学習 (TD学習)
アクター・クリティック法
方策勾配法（英語版）
Dynaアーキテクチャ
「苦い教訓（英語版）」 (The Bitter Lesson)
主な受賞歴 AAAIフェロー (2001年)
カナダ王立協会フェロー (2016年)
王立協会フェロー (FRS, 2021年)
IJCAI Award for Research Excellence (2021年)
チューリング賞 (2024年)
公式サイト
richsutton.com
テンプレートを表示

リチャード・スチュアート・サットン（英: Richard Stuart Sutton、1957年または1958年生[1][2][3]）は、カナダの計算機科学者。アルバータ大学計算機科学科教授、アルバータ機械知能研究所 (Amii) のフェロー兼チーフ・サイエンティフィック・アドバイザー、Keen Technologiesのリサーチサイエンティスト[4][5]。

現代の強化学習の創始者の一人とされ[6]、特に時間差分学習や方策勾配法（英語版）の開発に大きく貢献した[1]。共著の教科書『Reinforcement Learning: An Introduction』（アンドリュー・バルト（英語版）との共著、1998年初版／2018年第2版。邦訳『強化学習』森北出版）は同分野の標準的教科書として広く読まれている[1][7]。これらの業績により、2024年度のチューリング賞を指導教員でもあったバルトと共同受賞した[1][2][8]。

生涯

生い立ちと教育

オハイオ州トレドに生まれ、イリノイ州のオーク・ブルック（シカゴ近郊）で育つ[3]。1978年にスタンフォード大学で心理学の学士号 (B.A.) を取得した後、マサチューセッツ大学アマースト校に進み、アンドリュー・バルト（英語版）の指導のもと、1980年に修士号 (M.S.)、1984年に博士号 (Ph.D.) を計算機科学で取得した[6][9]。

博士論文 Temporal Credit Assignment in Reinforcement Learning では、後に強化学習の中核概念となるアクター・クリティック・アーキテクチャと時間的信用割当の枠組みを導入した[9][6]。研究の方向性は、教師あり学習では知的行動を説明できず、試行錯誤による学習が必要であると主張したハリー・クロップ（英語版）の1970年代の論考から強い影響を受けたという[10]。

経歴

2023年には、ゲーム開発者のジョン・カーマックと汎用人工知能 (AGI) 開発に向けて提携することを発表した[12]。

業績

サットンとバルトは、マルコフ決定過程 (MDP) を数学的基盤として、確率的な環境下でエージェントが報酬を最大化するように行動を学習する枠組みを構築した。従来のMDP理論ではエージェントが環境のモデルを完全に知っていることが前提であったが、サットンらの強化学習は環境や報酬が未知の場合にも適用できる点で画期的であった[2][8]。

主な学術的貢献として以下が挙げられる[1][13]。

  • 時間差分学習 (TD学習) - 1988年の論文 Learning to predict by the methods of temporal differences で導入された、モデルフリーで価値関数を逐次的に学習するアルゴリズム群[14]。
  • Dynaアーキテクチャ - 学習、計画、行動を統合した枠組み（1991年）[15]。
  • オプション枠組み - 強化学習における時間的抽象化のための数理的枠組み（1999年、ドイナ・プレカップ（英語版）、サティンダー・シン（英語版）との共著）[16]。
  • 関数近似を伴う方策勾配法（英語版） - 現代的な方策勾配定理を定式化した（2000年）[17]。

2019年に発表したエッセイ「苦い教訓（英語版） (The Bitter Lesson)」では、「人間が考える考え方を組み込むアプローチは長期的には機能せず、計算資源を活用する汎用的な手法こそが最終的に勝つ」と主張し、人工知能研究のあり方について大きな議論を呼んだ[18]。

近年は大規模言語モデル (LLM) に対して批判的な立場をとっており、LLMは独立した訓練段階を必要とする模倣学習であって、環境との継続的相互作用から学ぶ「経験の時代 (Era of Experience)」のアーキテクチャが必要だと論じている[19][20]。

主な著書・論文

著書

  • Sutton, Richard S.; Barto, Andrew G. (1998). Reinforcement Learning: An Introduction. MIT Press. ISBN 0-262-19398-1 
  • Sutton, Richard S.; Barto, Andrew G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press. ISBN 978-0-262-03924-6 
    • 邦訳：『強化学習（第2版）』奥村エルネスト純・鈴木雅大・松尾豊・三上貞芳・山川宏監訳、森北出版、2022年11月、ISBN 978-4-627-82662-5[7]

主要論文

  • Sutton, Richard S. (1988). “Learning to predict by the methods of temporal differences”. Machine Learning 3 (1): 9–44. doi:10.1007/BF00115009. 
  • Sutton, Richard S.; Precup, Doina; Singh, Satinder (1999). “Between MDPs and semi-MDPs: A framework for temporal abstraction in reinforcement learning”. Artificial Intelligence 112 (1–2): 181–211. doi:10.1016/S0004-3702(99)00052-1. 
  • Sutton, Richard S.; McAllester, David; Singh, Satinder; Mansour, Yishay (2000). “Policy Gradient Methods for Reinforcement Learning with Function Approximation”. Advances in Neural Information Processing Systems 12. pp. 1057–1063.

受賞・栄誉

私生活

2015年にカナダの市民権を取得し、2017年にはアメリカ合衆国の市民権を放棄したことが米連邦官報により報じられた[3][24]。

脚注

  1. 1 2 3 4 5 6 “Dr. Richard Sutton - A.M. Turing Award Recipient”. Association for Computing Machinery. 2026年5月20日閲覧。
  2. 1 2 3 Metz, Cade (2025年3月5日). “Turing Award Goes to 2 Pioneers of Artificial Intelligence”. The New York Times. 2026年5月20日閲覧.
  3. 1 2 3 Bradburn, Jamie (2026年2月11日). “Richard Sutton”. The Canadian Encyclopedia. 2026年5月20日閲覧。
  4. 1 2 “Richard S. Sutton”. Alberta Machine Intelligence Institute. 2026年5月20日閲覧。
  5. 1 2 “Rich Sutton, PhD”. University of Alberta. 2026年5月20日閲覧。
  6. 1 2 3 Piatetsky, Gregory (2017年12月5日). “Exclusive: Interview with Rich Sutton, the Father of Reinforcement Learning”. KDnuggets. 2026年5月20日閲覧。
  7. 1 2 Richard S. Sutton、Andrew G. Barto『強化学習（第2版）』奥村エルネスト純・鈴木雅大・松尾豊・三上貞芳・山川宏 監訳、森北出版、2022年11月。ISBN 978-4-627-82662-5。
  8. 1 2 “「強化学習」の先駆者たち、チューリング賞を受賞。アンドリュー・バルトとリチャード・サットン”. WIRED.jp. 2025年3月7日. 2026年5月20日閲覧.
  9. 1 2 Sutton, Richard Stuart (1984). Temporal credit assignment in reinforcement learning (PDF) (Thesis). University of Massachusetts Amherst.
  10. ↑ Sutton, Richard S.; Barto, Andrew G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press. pp. 22–23. ISBN 978-0-262-03924-6
  11. ↑ “DeepMind expands to Canada with new research office in Edmonton, Alberta”. DeepMind (2017年7月5日). 2026年5月20日閲覧。
  12. ↑ “John Carmack and Rich Sutton partner to accelerate development of Artificial General Intelligence”. Business Insider (2023年). 2026年5月20日閲覧。
  13. 1 2 “Professor Rich Sutton FRS”. The Royal Society. 2026年5月20日閲覧。
  14. ↑ Sutton, Richard S. (1988). “Learning to predict by the methods of temporal differences”. Machine Learning 3 (1): 9–44. doi:10.1007/BF00115009.
  15. ↑ Sutton, Richard S. (1991). “Dyna, an integrated architecture for learning, planning, and reacting”. ACM SIGART Bulletin 2 (4): 160–163. doi:10.1145/122344.122377.
  16. ↑ Sutton, Richard S.; Precup, Doina; Singh, Satinder (1999). “Between MDPs and semi-MDPs: A framework for temporal abstraction in reinforcement learning”. Artificial Intelligence 112 (1–2): 181–211. doi:10.1016/S0004-3702(99)00052-1.
  17. ↑ Sutton, Richard S.; McAllester, David; Singh, Satinder; Mansour, Yishay (2000). “Policy Gradient Methods for Reinforcement Learning with Function Approximation”. Advances in Neural Information Processing Systems 12. pp. 1057–1063.
  18. ↑ Sutton, Richard S. (2019年3月13日). “The Bitter Lesson”. 2026年5月20日閲覧。
  19. ↑ “Richard Sutton – Father of RL thinks LLMs are a dead end”. Dwarkesh Podcast (2025年9月25日). 2026年5月20日閲覧。
  20. ↑ Silver, David (2025年). “Welcome to the Era of Experience”. Google DeepMind. 2026年5月20日閲覧。
  21. ↑ Richard S. Sutton、Andrew G. Barto 著、三上貞芳・皆川雅章 訳『強化学習』森北出版、2000年12月。ISBN 978-4-627-82661-8。
  22. ↑ “Elected AAAI Fellows”. AAAI. 2026年5月20日閲覧。
  23. ↑ “Richard S. Sutton”. Royal Society of Canada. 2026年5月20日閲覧。
  24. ↑ “Quarterly Publication of Individuals, Who Have Chosen To Expatriate, as Required by Section 6039G”. Internal Revenue Service (2017年11月2日). 2026年5月20日閲覧。

関連項目

外部リンク

関連記事

強化学習アンドリュー・バルト?action=edit&redlink=1時間差分学習方策勾配法?action=edit&redlink=1マルコフ決定過程アルバータ大学Google_DeepMindチューリング賞苦い教訓?action=edit&redlink=1