Home
『The Matrix Cookbook』Page 16完全解読:テープリッツ行列の微分と構造化行列の総括
『The Matrix Cookbook』の最終ページ(Page 16)に記載されたテープリッツ行列の微分公式(Eq. 143-144)を完全網羅。対角成分が連動する特殊構造における微分の定義 α(A) と、対称テープリッツ行列への拡張、さらにシリーズ全体の総括を含めた包括的解説書。
1571 words
|
8 minutes
『The Matrix Cookbook』Page 8完全解読:行列微分の構造・証明・応用
『The Matrix Cookbook』Page 8を起点に、行列式の微分(ヤコビの公式)の完全証明(固有値分解・行列指数関数)、対数行列式の凸性解析、そして統計学(多変量正規分布の最尤推定)・物理学(連続体力学)・最適制御(D-最適計画)への具体的応用までを体系的に論じる。公式の羅列を超え、数理的背景と実用性を兼ね備えた包括的な解説書。
6314 words
|
32 minutes
『The Matrix Cookbook』Page 9完全解読:複合行列式の微分と逆行列の摂動論
『The Matrix Cookbook』Page 9に記載された複合関数の行列式微分(二次形式、線形形式)および逆行列の汎用微分公式(Eq. 49-59)を完全網羅。ウィシャート分布の解析、ガウス過程回帰、準ニュートン法への応用を含め、数理的背景から実務実装までを体系的に論じる包括的解説書。
3302 words
|
17 minutes
『The Matrix Cookbook』Page 10完全解読:逆行列の成分微分・固有値摂動論・基本形式
『The Matrix Cookbook』Page 10に記載された逆行列の成分ごとの微分公式、対称行列における固有値・固有ベクトルの微分(摂動論)、および基本的なベクトル・スカラー形式の一次微分(Eq. 60-75)を完全網羅。レイリー商の微分や、構造解析・主成分分析(PCA)への応用を含め、数理的背景から実務実装までを体系的に論じる包括的解説書。
6458 words
|
32 minutes
『The Matrix Cookbook』Page 12完全解読:勾配・ヘッセ行列・トレース微分の基礎
『The Matrix Cookbook』Page 12に記載された一般化レイリー商の微分、勾配とヘッセ行列の定義、およびトレース微分の基礎公式(Eq. 92-105)を完全網羅。ニュートン法による最適化、信号処理における固有値解析への応用を含め、数理的背景から実務実装までを体系的に論じる包括的解説書。
4797 words
|
24 minutes
『The Matrix Cookbook』Page 14完全解読:逆行列トレース・ベクトルノルム・構造化行列
『The Matrix Cookbook』Page 14に記載された逆行列を含む複雑なトレース微分(Eq. 124-128)、ベクトルノルムの微分と射影行列(Eq. 129-131)、および構造化行列(対称行列など)に対する微分の連鎖律(Eq. 133)を完全網羅。幾何学的最適化や物理シミュレーションへの応用を含め、数理的背景から実務実装までを体系的に論じる包括的解説書。
5060 words
|
25 minutes
『The Matrix Cookbook』Page 11完全解読:二次形式・高次形式・最小二乗法の微分
『The Matrix Cookbook』Page 11に記載された二次形式(ベクトル・行列)、最小二乗法関連の微分、複素LMSアルゴリズム、および行列のn乗(高次形式)の微分公式(Eq. 76-91)を完全網羅。統計的推定や制御理論、機械学習の損失関数設計への応用を含め、数理的背景から実務実装までを体系的に論じる包括的解説書。
5541 words
|
28 minutes
『The Matrix Cookbook』Page 13完全解読:トレース微分の二次形式と高次形式
『The Matrix Cookbook』Page 13に記載された二次形式のトレース微分(Eq. 106-120)および高次形式のトレース微分(Eq. 121-123)を完全網羅。フロベニウスノルムの最小化(Ridge回帰、行列分解)やニューラルネットワークの損失関数設計への応用を含め、数理的背景から実務実装までを体系的に論じる包括的解説書。
4221 words
|
21 minutes
『The Matrix Cookbook』Page 15完全解読:構造化行列の微分公式と連鎖律
『The Matrix Cookbook』Page 15に記載された構造化行列(対称行列・対角行列)の微分公式(Eq. 134-142)を完全網羅。構造行列 S^ij の定義、一般的な連鎖律、および対称行列における「対角成分の重複補正」の数理的背景から、共分散行列推定や対角スケーリング層への応用までを体系的に論じる包括的解説書。
2542 words
|
13 minutes
3D MD Simulation Test
Three.jsとReact Fiberを使った3D分子動力学シミュレーションのテスト
15 words
|
1 minutes
AdaDerivative: 「勾配の変化」を見ることでオーバーシュートを抑制する新手法
Weidong Zouら (2023) による論文『AdaDerivative optimizer: Adapting step-sizes by the derivative term in past gradient information』に基づき、AdaBeliefの弱点であるオーバーシュート問題を解決する「AdaDerivative」について解説する。勾配の差分(微分項)を用いるその構造は、PID制御のD動作に通じるものがある。
1573 words
|
8 minutes
Cautious Optimizers: 「たった1行の修正」でAdamを高速化するC-AdamWの衝撃
Kaizhao Liangら (2024) による論文『Cautious Optimizers: Improving Training with One Line of Code』に基づき、モーメンタムに基づくオプティマイザの弱点を克服する「C-AdamW」について解説する。勾配と更新方向の不一致(Misalignment)を回避する「慎重な更新」が、なぜ学習を最大1.5倍高速化できるのか、そのメカニズムに迫る。
1680 words
|
8 minutes
Lion: AIが自ら発見した「単純ゆえに最強」のオプティマイザ
Google Brainのチーム (2023) が発表した論文『Symbolic Discovery of Optimization Algorithms』に基づき、自動探索によって発見されたオプティマイザ「Lion」について解説する。Adamよりもメモリ効率が良く、符号関数(Sign)のみを用いるその単純さがなぜ高性能につながるのかを紐解く。
1411 words
|
7 minutes
氷から水、そして蒸気へ:Lennard-Jones流体で見る相転移シミュレーション
物質の三態(固体・液体・気体)はどのようにして決まるのか? 分子間相互作用(Lennard-Jonesポテンシャル)を導入した分子動力学シミュレーションを行い、温度変化によって粒子が結晶化したり、蒸発したりする様子をブラウザ上で観察する。
800 words
|
4 minutes
NVE vs NVT: 分子動力学シミュレーションで見る統計アンサンブルの世界
単一の軌跡(Trajectory)を追うだけでは見えない化学反応の本質がある。多数の粒子を用いた分子動力学(MD)シミュレーションにより、エネルギー保存則に従うミクロカノニカル(NVE)と、温度一定のカノニカル(NVT)アンサンブルの違い、そして反応速度論における再交差現象を可視化する。
865 words
|
4 minutes
Adam: 適応的モーメント推定に基づく確率的最適化手法の理論的構造と実証的評価
Diederik P. KingmaとJimmy Lei Baによる2015年の論文『Adam: A Method for Stochastic Optimization』に基づき、Adamアルゴリズムの数理的背景、収束特性、およびAdaMaxといった派生手法について、中立的かつ学術的な視点から包括的に解説する。また、本アルゴリズムの挙動を視覚的に理解するためのシミュレータを実装する。
3510 words
|
18 minutes