最適化アルゴリズム

著者　　Mykel J. Kochenderfer・Tim A. Wheeler
訳者　　岸本 祥吾・島田 直樹・清水 翔司・
　　　　田中 大毅・原田 耕平・松岡 勇気　　
発売日　2022年12月31日
体裁　　B5変・464頁
ISBN　　9784320124929
定価　　8,250円 （本体7,500円 + 税10%）
発行所　共立出版　

Algorithms for Optimization

Mykel J. Kochenderfer and Tim A. Wheeler
520 pp., 8 x 9 in, 237 color illus.
Hardcover
ISBN: 9780262039420
Published: March 12, 2019
Publisher: The MIT Press

昨年末に日本語版が発売された話題作『最適化アルゴリズム』を紹介します．
こちらは，2019年に発売された『Algorithms for Optimization』を翻訳した書籍になります．
こちらのサイトで全文のpdfが無料公開されています．

本書の一番の魅力は，多数のアルゴリズムと，それらが解くことのできる多数の最適化問題が掲載されている点にあると思います．1章に書かれている通り，最適化の分野には「ある種類の問題群に対して特定のアルゴリズムが別のアルゴリズムに比べてより良く振る舞う場合，それは他の種類の問題群に対して，そのアルゴリズムは別のアルゴリズムに劣る振る舞いをする」というノーフリーランチ定理が存在します．すべての最適化問題に対して万能なアルゴリズムは存在しないため，問題を正しく理解したうえで，利用するアルゴリズムを適切に選択することが求められます．本書は，その知識を得るための最良の書だと思います．

本書には，以下の特徴を有する最適化問題の説明が含まれています．

• 1変数1目的
• 多変数
• 制約付き
• 線形計画
• 多目的
• 高コスト
• 離散

また，ノイズを有する不確実性下の最適化や，式の最適化，複合領域設計最適化についても書かれています．

本書には，以下の最適化法の説明が含まれています．

• 微分法，単体法
• Fibonacci 探索，黄金分割探索，2 次当てはめ探索，Shubert-Piyavskii 法，二分法
• 直線探索，近似直線探索
• 勾配降下法，共役勾配法，モメンタム法，Nesterov モメンタム法，Adagrad，RMSProp，Adadelta，Adam，超勾配降下法
• Newton 法，セカント法，準 Newton 法
• 巡回ルール付き座標降下法，Powell 法，Hooke-Jeeves 法，一般化パターンサーチ法，Nelder-Mead のシンプレックス法，矩形分割法
• 確率的勾配降下法(Stochastic Gradient Descent, SGD)，ノイズ付き降下法，メッシュ適応直接探索，焼きなまし法(Simulated Annealing, SA)，クロスエントロピー法，自然進化戦略(Natural Evolution Strategies, NES)，共分散行列適応進化戦略 (CMA-ES)
• 遺伝的アルゴリズム(Genetic Algorithm, GA)，差分進化(Differential Evolution, DE)，粒子群最適化(Particle Swarm Optimization, PSO)，ホタルアルゴリズム(Firefly Algorithm, FA)，カッコウ探索(Cuckoo Search, CS)，ハイブリッド法
• ラグランジュの未定乗数法，ペナルティ法，拡張ラグランジュ法，内点法
• 制約法，重み付け法，多目的の集団に基づく手法
• サンプリング法，ベイジアンモンテカルロ法
• 切除平面法，分枝限定法，動的計画法，蟻コロニー最適化
• 遺伝的プログラミング，文法進化，確率文法，プロトタイプ木

これ以外の最適化法や，細かい最適化テクニックついても書かれています．また，ベイズ最適化(Bayesian Optimization, BO)，サロゲート最適化(Surrogate Optimization)，Efficient Global Optimization(EGO)に関連する，応答曲面法による代理モデルに基づく最適化についても書かれています．
（文中の太字は，自分の専門であったり特に興味関心が高い技術です）

本書ほど幅広く最適化を取り扱う日本語の書籍は，他に無いと思います．
皆さん，是非一度読んでみてください．