Home
Eve: 目的関数の変動情報をフィードバックする適応的勾配降下法の拡張
Hiroaki Hayashiら (2016) によって提案された最適化手法「Eve」について解説する。EveはAdamをベースとしつつ、目的関数の変動(損失の推移)を監視することで、パラメータごとの局所的な学習率だけでなく、全体の大域的な学習率をも動的に制御するアルゴリズムである。
2334 words
|
12 minutes
勾配降下法に基づく最適化アルゴリズムの数理的構造と収束特性に関する包括的レビュー
Sebastian Ruder (2016, 2017) による包括的なレビュー論文に基づき、深層学習における勾配降下法の諸変種(SGD, Momentum, Adagrad, RMSprop, Adam等)について、その数理的定義、更新則の導出過程、および損失曲面上の挙動特性について中立的かつ学術的な観点から詳説する。
4273 words
|
21 minutes
Interactive Optimization Playground: Exploring Gradient Descent Algorithms on Complex Landscapes
A comprehensive interactive tool to visualize and compare various gradient descent optimization algorithms (SGD, Momentum, Adagrad, RMSProp, Adam, etc.) on different objective functions including Rosenbrock and Himmelblau.
385 words
|
2 minutes
RAdam: 学習率の分散を「整流」する、Warmup不要のAdam進化形
Liyuan Liuら (2020) による論文『On the Variance of the Adaptive Learning Rate and Beyond』に基づき、Adamにおける学習初期の不安定性の原因と、それを解決するRAdam (Rectified Adam) アルゴリズムについて解説する。Warmupヒューリスティックの理論的根拠を明らかにし、シミュレータでその挙動を検証する。
1872 words
|
9 minutes
Schedule-Free Learning: 学習率スケジュールからの解放と最適化の新地平
Aaron Defazioら (2024) による論文『The Road Less Scheduled』に基づき、学習率スケジューリングを不要にする新しい最適化手法「Schedule-Free Learning」について解説する。理論的背景、Primal Averagingとの関係、および実装上の特性を詳説し、インタラクティブなシミュレータで挙動を確認する。
2034 words
|
10 minutes
YellowFin: 運動量項の自動チューニングによるMomentum SGDのロバスト化
Jian Zhangら (2017) による論文『YellowFin and the Art of Momentum Tuning』に基づき、Momentum SGDのハイパーパラメータを自動調整するオプティマイザ「YellowFin」について解説する。勾配の曲率情報を用いた閉ループ制御により、Adam等の適応的手法に匹敵する収束速度とロバスト性を実現する仕組みを詳説する。
1817 words
|
9 minutes
AdaBelief: 勾配への「確信度」で歩幅を変える、AdamとSGDのいいとこ取り
Juntang Zhuangら (2020) による論文『AdaBelief Optimizer: Adapting Stepsizes by the Belief in Observed Gradients』に基づき、Adamの高速収束性とSGDの汎化性能を両立するアルゴリズム「AdaBelief」について解説する。「勾配の予測誤差」を見るという発想の転換がもたらす効果をシミュレータで確認する。
1607 words
|
8 minutes
粒子法で解く流体力学:SPH法による「水」と「油」の表現
原子の動きを追う分子動力学(MD)と、流体の流れを追う流体力学シミュレーション(SPH)は、見た目は似ていても解いている方程式が全く異なります。ナビエ・ストークス方程式を粒子で離散化し、粘性を変えることで「水」や「油」を表現する仕組みを解説します。
823 words
|
4 minutes
制御不能な熱:SPH法で見る「熱暴走」と「気化爆発」のメカニズム
水が一滴も入っていない油が、なぜ突然「跳ねる」のか? 化学プラントやリチウムイオン電池でも問題となる「熱暴走(Thermal Runaway)」現象を、流体力学と化学反応速度論を組み合わせたマルチフィジックス・シミュレーションで再現する。
1420 words
|
7 minutes
「水と油」はなぜ混ざらない? MDで見る理想溶液と相分離
「似たもの同士はよく溶ける」という経験則は、熱力学的にどう説明されるのか? 理想溶液と相分離の違いを、エンタルピーとエントロピーの競合として可視化する。※本シミュレーションでは単純化された粒子モデルを使用しています。
1198 words
|
6 minutes
Coupled-Perturbed Hartree-Fock (CPHF) 理論による分子物性の解析的導出:ヘシアン、双極子モーメント、および分極率の数理
J. Gerratt and I. M. Mills (1968) の先駆的研究に基づき、Coupled-Perturbed Hartree-Fock (CPHF) 法を用いた分子の力の定数(ヘシアン)、双極子モーメント、および分極率の解析的導出について詳述する。変分摂動論の枠組みにおける軌道応答の定式化、基底関数依存性の処理、および水素分子(H2)・水素化リチウム(LiH)への適用例を通じて、その数理的構造と物理的意義を中立的かつ学術的な視点から解説する。
9429 words
|
47 minutes
Microsoft HTML Application Host (mshta.exe) の CLI 実行モデルとセキュリティリスク構造【改訂版】
Windows 標準の HTA 実行ホストである mshta.exe について、CLI からのインラインスクリプト実行メカニズム、シェル(cmd/PowerShell)による挙動の違い、および Recaptcha 偽装(ClickFix)攻撃での悪用原理を技術的に詳説する。
2092 words
|
10 minutes
G行列のスペクトル分解に基づく非局在化内部座標(DIC)の数理的構造と最適化アルゴリズムへの適用
Jon Baker, Alain Kessi, Bernard Delley (1996) によって提案された非局在化内部座標(DIC)について、その数理的定義、B行列およびG行列を用いた部分空間の代数的分離、および幾何構造最適化における数値的特性について、原著論文に基づき中立的かつ詳細に解説する。
3697 words
|
18 minutes
活性化障壁における物理モデルの選択:ΔEとΔGの理論的限界と実務的判定プロトコル
計算化学における反応解析の核心であるΔEとΔGの使い分けについて。分散力補正の定量的寄与、配座エントロピーの統計的有意性、SMDモデルやSCTトンネル補正の適用基準、そして高難度系における誤差評価プロトコルを体系化したガイド。
3196 words
|
16 minutes
冗長内部座標系を用いた平衡構造および遷移状態最適化の数理的展開と計算効率の評価
1996年にPeng、Ayala、Schlegel、Frischによって提案された、全結合・全角度・全二面角を採用する冗長内部座標系(Redundant Internal Coordinates)による構造最適化手法について、その歴史的背景、WilsonのB行列およびG行列を用いた数学的定式化、射影演算子による冗長性の除去、そして遷移状態探索(QST法)への応用を包括的に解説する。
5658 words
|
28 minutes
冗長内部座標系を用いた平衡構造および遷移状態最適化の数理的展開と計算効率の評価
1996年にPeng、Ayala、Schlegel、Frischによって提案された、全結合・全角度・全二面角を採用する冗長内部座標系(Redundant Internal Coordinates)による構造最適化手法について、その歴史的背景、WilsonのB行列およびG行列を用いた数学的定式化、射影演算子による冗長性の除去、そして遷移状態探索(QST法)への応用を包括的に解説する。
4268 words
|
21 minutes