last_modified: 2026-01-10

生成AIによる自動生成記事に関する免責事項: 本記事は、Petersen & Pedersen著 The Matrix Cookbook (Nov 15, 2012 edition) のPage 11の内容（公式76〜91）を骨子とし、数理的な証明と応用例を大幅に加筆して再構成した解説記事です。筆者の学習目的で生成したものです。正確な内容は必ず一次情報で確認してください。

1. 序論：最適化問題の記述言語「二次形式」#

Page 11では、行列微分の中で最も実用頻度が高い**「二次形式（Second Order Forms）」**の微分が集中的に扱われています。 物理学におけるエネルギー、統計学における分散、機械学習における二乗誤差などは、すべて二次形式で記述されます。したがって、このページの公式群（Eq. 76-89）を理解することは、最適化問題を解くアルゴリズム（勾配降下法やニュートン法）を自ら設計・実装するための必須要件となります。

また、後半（Eq. 90-91）では、行列のべき乗 $X^n$ の微分という、より高度なトピックも扱います。これは制御理論における遷移行列の解析などで威力を発揮します。

2. ベクトルと行列の二次形式 (Second Order)#

2.1 ベクトル二次形式の基本 (Eq. 81, 78)#

最も基本的かつ重要な公式です。スカラーの微分 $(ax^2)' = 2ax$ の行列版と考えられます。

【公式】

【解説】

• Eq. 81: もし $B$ が対称行列（$B=B^T$）ならば、結果はシンプルに $2B\mathbf{x}$ となります。これは分散共分散行列を含むマハラノビス距離の微分などで頻出します。
• Eq. 78: これは「積の微分公式」のベクトル版です。$u = B\mathbf{x}+\mathbf{b}, v = D\mathbf{x}+\mathbf{d}$ と置けば、$u^T C v$ の微分として理解できます。$B^T$ や $D^T$ が掛かるのは、連鎖律による内部関数の微分（ヤコビアン）です。

2.2 行列二次形式の微分 (Eq. 77, 82, 83)#

変数がベクトル $\mathbf{x}$ ではなく、行列 $X$ になったバージョンです。多変量解析や行列回帰で重要になります。

【公式一覧】

【Eq. 82 の証明】 スカラー関数 $f = \mathbf{b}^T X^T D X \mathbf{c} = \text{Tr}(\mathbf{b}^T X^T D X \mathbf{c}) = \text{Tr}(D X \mathbf{c} \mathbf{b}^T X^T)$ とみなして微分をとります。

勾配は係数行列の転置なので、

となり、公式と一致します。 Eq. 77 は Eq. 82 において $D=I$ とした特殊ケースです。

【Eq. 83 の直感的解釈】 これは、線形回帰モデルの残差二乗和（重み付き最小二乗法）の構造をしています。 $\mathbf{r} = X\mathbf{b}+\mathbf{c}$ と置くと、$\mathbf{r}^T D \mathbf{r}$ の微分です。

これに連鎖律（$\frac{\partial \mathbf{r}}{\partial X}$ の寄与）として $\mathbf{b}^T$ が右から掛かる形になっています。

2.3 成分ごとの微分とシングルエントリ行列 (Eq. 76, 79, 80)#

成分計算のための補助公式です。

【公式】

【解説】

• Eq. 76: $\sum_{klmn} X_{kl} X_{mn} = (\sum_{kl} X_{kl})^2$ です。これは「全成分の総和の二乗」なので、微分すると $2 \times (\text{総和})$ になります。
• Eq. 80: シングルエントリ行列 $J^{ij}$ の定義です。$(i, j)$ 成分だけが 1 である行列 $E_{ij}$ と同じです。これは Eq. 79 のような成分ごとの微分を、行列形式 $X^T B J^{ij} + J^{ji} B X$ （原典Eq. 79の別記法）として表現する際に使われます。

3. 最小二乗法とLMSアルゴリズム (Eq. 84–89)#

ここでは、統計学や信号処理の核心である「誤差関数の微分」を扱います。

3.1 対称重み行列 $W$ を持つ二次形式 (Eq. 84–88)#

関数 $J = (\mathbf{x} - A\mathbf{s})^T W (\mathbf{x} - A\mathbf{s})$ を考えます。これは一般化最小二乗法の目的関数そのものです。$W$ は対称行列 ($W=W^T$) と仮定します。

【公式一覧】

※ Eq. 86, 87 は $A=I$ の特殊ケースなので省略しますが、構造は同じです。

【解説と応用】

• Eq. 84 (sによる微分): これを 0 と置くことで、最小二乗解の正規方程式 $A^T W A \mathbf{s} = A^T W \mathbf{x}$ が導かれます。
• Eq. 88 (Aによる微分): これが行列微分ならではの醍醐味です。 残差ベクトル $\mathbf{e} = \mathbf{x} - A\mathbf{s}$ を定義すると、勾配は $-2 W \mathbf{e} \mathbf{s}^T$ となります。 これは、「重み付き残差 $W\mathbf{e}$」と「入力 $\mathbf{s}$」の直積（Outer Product）です。この形は、ニューラルネットワークの重み更新則（デルタ則）や、辞書学習（Dictionary Learning）における辞書更新と完全に一致します。

3.2 複素数値とLMSアルゴリズム (Eq. 89)#

信号処理における適応フィルタ（LMS: Least Mean Squares）で使われる公式です。

【公式】

※ 原典の指数表記は誤植または特殊な記法と思われますが、一般的には共役 $(*)$ を意味します。

【解説】 複素数の世界では、実数値の損失関数 $J = |e|^2 = e e^*$ を複素ベクトル $\mathbf{x}$ で微分する際、ヴィルティンガー微分（Wirtinger derivatives）の概念が使われます。この公式は、最急降下法による更新方向 $-2 \mathbf{b} e^*$ を与えており、通信工学におけるビームフォーミング最適化の基礎式です。

4. 高次形式と非線形行列関数 (Higher-order)#

行列の $n$ 乗を含む関数の微分です。

4.1 行列のn乗の成分微分 (Eq. 90)#

【公式】

【証明と直感】 積の微分法則（ライプニッツ則）を $n$ 個の積 $X \cdot X \cdots X$ に適用します。

非可換性があるため、項をまとめることはできず、和の形で残ります。これを成分表示したのが Eq. 90 です。 $J^{ij}$ は微小変化 $dX$ の成分表現（$(i,j)$ だけが1）です。

4.2 高次双線形形式 (Eq. 91)#

【公式】

【解説】 スカラー関数 $\mathbf{a}^T X^n \mathbf{b}$ の微分です。 $d(\mathbf{a}^T X^n \mathbf{b}) = \text{Tr}(\mathbf{a}^T d(X^n) \mathbf{b})$ に、先ほどの $d(X^n)$ の展開式を代入し、トレースの巡回性を利用して $dX$ を括り出すことで導出されます。 $n=1$ のときは Eq. 70 $\mathbf{a}\mathbf{b}^T$ に帰着し、$n=2$ のときは $X^T \mathbf{a}\mathbf{b}^T + \mathbf{a}\mathbf{b}^T X^T$ となるなど、次数が増えるにつれて項が増えていきます。

5. 結論#

『The Matrix Cookbook』Page 11 は、応用数理における「実戦配備」のためのページです。

1. 二次形式の微分 (Eq. 81, 83): 凸最適化問題の勾配計算に必須。特に $2B\mathbf{x}$ や $(D+D^T)\mathbf{r}$ という形は、条件反射で出るようにすべきです。
2. 最小二乗法の微分 (Eq. 88): $-2 W \mathbf{e} \mathbf{s}^T$ という「残差と入力の直積」形式は、機械学習の学習則の普遍的な構造を示しています。
3. 高次形式 (Eq. 90): 行列指数関数 $e^{Xt}$ の摂動解析など、動的システムの制御理論への入り口となります。

このページの公式をマスターすることで、線形回帰からニューラルネットワークまで、幅広いアルゴリズムの導出を自力で行う力が身につきます。

6. 実践的応用例：数式から現実世界へ#

Page 11 で扱った二次形式や高次形式の微分公式は、最適化問題、信号処理、制御理論といった工学分野において、アルゴリズムの導出過程で必ず登場するものです。ここでは、理論が実用技術に変わる瞬間を3つの例で示します。

応用例1：線形回帰と正規方程式の導出（二次形式微分の応用）#

機械学習の最も基本的なモデルである「線形回帰」の解（正規方程式）は、Page 11 の公式 Eq. 81 を使うことで、わずか数行で導出できます。

【問題設定】 入力行列 $A$ とターゲットベクトル $\mathbf{b}$ に対し、線形モデル $A\mathbf{x}$ との二乗誤差 $J(\mathbf{x}) = \| A\mathbf{x} - \mathbf{b} \|^2$ を最小化するパラメータ $\mathbf{x}$ を求めたいとします。

【解析】 目的関数を展開します。

この式を $\mathbf{x}$ で微分し、0 と置きます。

1. 第1項: $\mathbf{x}^T (A^T A) \mathbf{x}$ は二次形式です。$A^T A$ は対称行列なので、Eq. 81 より、微分は $2 (A^T A) \mathbf{x}$ となります。
2. 第2項: $-2 (A^T \mathbf{b})^T \mathbf{x}$ は一次形式です。Page 10 の Eq. 69 より、微分は $-2 A^T \mathbf{b}$ となります。

これらを合わせると、

すなわち、

という「正規方程式（Normal Equation）」が導かれます。教科書では成分計算で長く記述されるこの導出も、行列微分を使えば瞬殺です。

応用例2：リアプノフ関数の安定性解析（二次形式微分の応用）#

制御工学において、システムの安定性を判別する「リアプノフ関数」の解析には、二次形式の微分が不可欠です。

【問題設定】 線形システム $\dot{\mathbf{x}} = A \mathbf{x}$ の安定性を考えます。 候補となるリアプノフ関数を $V(\mathbf{x}) = \mathbf{x}^T P \mathbf{x}$ （$P$ は正定値対称行列）とします。この関数の時間微分 $\dot{V}(\mathbf{x})$ が負定値であれば、システムは安定です。

【解析】 $\dot{V}(\mathbf{x})$ を計算するために、合成関数の微分（連鎖律）を使います。

ここで Eq. 81 より、$\frac{\partial V}{\partial \mathbf{x}} = 2 \mathbf{x}^T P$ （勾配を行ベクトルとするレイアウトの場合）となります。これを代入すると、

この結果、「$P A + A^T P = -Q$ （$Q$ は正定値）を満たす $P$ が存在するか？」という有名な「リアプノフ方程式」の問題に帰着されます。この導出プロセスは、非線形制御やロバスト制御の基礎となります。

応用例3：適応フィルタのLMSアルゴリズム（複素微分の応用）#

通信システム（ノイズキャンセリングやビームフォーミング）で使われる「LMS（Least Mean Squares）アルゴリズム」の更新則は、Eq. 89（複素微分の公式） そのものです。

【問題設定】 複素入力信号 $\mathbf{x}$ と重みベクトル $\mathbf{w}$ による出力 $y = \mathbf{w}^H \mathbf{x}$ が、目標信号 $d$ に近づくように $\mathbf{w}$ を適応させたいとします。 誤差 $e = d - \mathbf{w}^H \mathbf{x}$ の二乗平均 $J = E[|e|^2] = E[e e^*]$ を最小化します。

【解析】 確率的勾配降下法（SGD）を用いるため、瞬時二乗誤差 $J_{inst} = |d - \mathbf{w}^H \mathbf{x}|^2$ の勾配 $\nabla_{\mathbf{w}} J_{inst}$ を求めます。 ここで $a=d, \mathbf{b}=\mathbf{x}$ と見なせば、これはまさに Eq. 89 の形をしています。 公式 Eq. 89 $\frac{\partial}{\partial \mathbf{w}} (d - \mathbf{x}^H \mathbf{w})^2 \propto -\mathbf{x} (d - \mathbf{x}^H \mathbf{w})^*$ を適用すると（変数の対応に注意）、

が得られます。これより、重みの更新則は

となります。このシンプルかつ強力なアルゴリズムは、スマートフォンの通話品質改善からレーダーの信号処理まで、世界中のあらゆる信号処理デバイスの中で動いています。

参考文献#

1. Petersen, K. B., & Pedersen, M. S. (2012). The Matrix Cookbook. Technical University of Denmark. (Page 11, Eqs 76-91)
2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Least Squares & Derivatives)
3. Haykin, S. (2002). Adaptive Filter Theory. Prentice Hall. (LMS Algorithm & Complex Derivatives)

補足：Eq.76〜88 完全スカラー翻訳リスト#

行列微分の公式は、「とりあえず全部スカラー（数値）だと思って微分し、最後に次元を合わせる（転置や順序の調整）」 という手順で理解すると、記憶の定着率が段違いに良くなります。

ここでは Page 11 に登場するすべての公式について、その「翻訳」を掲載します。

【基本操作】成分の総和 (Eq. 76)#

公式: $\frac{\partial}{\partial X_{ij}} \sum_{klmn} X_{kl} X_{mn} = 2 \sum_{kl} X_{kl}$

• スカラー翻訳: $(\sum x)^2$ の $x$ による微分
  • 思考: 全成分の和を $S = \sum x$ と置くと、式は $S^2$ です。
  • 微分: $\frac{d}{dx} S^2 = 2S \cdot \frac{dS}{dx} = 2S \cdot 1 = 2 \sum x$
• 行列の事情:
  • $X_{ij}$ は $S$ の構成要素の一つなので、連鎖律で $1$ が出てきます。結果は「総和の2倍」です。

【行列二次形式】基本形 (Eq. 77)#

公式: $\frac{\partial \mathbf{b}^T X^T X \mathbf{c}}{\partial X} = X (\mathbf{b}\mathbf{c}^T + \mathbf{c}\mathbf{b}^T)$

• スカラー翻訳: $b \cdot x \cdot x \cdot c$ の微分
  • 思考: $y = bc x^2$ です。
  • 微分: $y' = 2bc x = x (bc + cb)$
• 行列の事情:
  • スカラーなら $2bc$ ですが、ベクトル $\mathbf{b}, \mathbf{c}$ は非可換なので勝手にまとめられません。
  • 積の微分により $\mathbf{b}\mathbf{c}^T$ と $\mathbf{c}\mathbf{b}^T$ という2つの項（直積）が出てきます。これらを足し合わせたものがスカラーの $2bc$ に相当します。

【ベクトル積】双一次形式 (Eq. 78)#

公式: $\frac{\partial (B\mathbf{x}+\mathbf{b})^T C (D\mathbf{x}+\mathbf{d})}{\partial \mathbf{x}} = B^T C (D\mathbf{x}+\mathbf{d}) + D^T C^T (B\mathbf{x}+\mathbf{b})$

• スカラー翻訳: $(bx+b_0) c (dx+d_0)$ の微分
  • 思考: $u = bx+b_0, v = dx+d_0$ とした積 $u c v$ の微分です。
  • 微分: $u' c v + u c v' = b c (dx+d_0) + (bx+b_0) c d$
• 行列の事情:
  • 第1項: $b$ に相当する $B^T$ が前に出ます。
  • 第2項: $d$ に相当する $D^T$ が前に出ます。また、行列全体の転置 $C^T$ が現れます。
  • 構造は「積の微分（前を微分＋後ろを微分）」そのものです。

【成分計算】成分ごとの微分 (Eq. 79)#

公式: $\frac{\partial (X^T B X)_{kl}}{\partial X_{ij}} = \delta_{lj} (X^T B)_{ki} + \delta_{kj} (BX)_{il}$

• スカラー翻訳: $x b x$ の微分
  • 思考: $y = b x^2$ の微分です。
  • 微分: $b \cdot x + x \cdot b$ （$x$ が2つあるので、それぞれを微分した項の和）
• 行列の事情:
  • 第1項: 「後ろの $X$」を残して「前の $X$」を微分した結果。
  • 第2項: 「前の $X$」を残して「後ろの $X$」を微分した結果。
  • クロネッカーのデルタ $\delta$ は、成分計算における「微分したら 1、それ以外 0」を表しています。

【ベクトル二次形式】標準形 (Eq. 81)#

公式: $\frac{\partial \mathbf{x}^T B \mathbf{x}}{\partial \mathbf{x}} = (B + B^T) \mathbf{x}$

• スカラー翻訳: $b x^2$ の微分
  • 微分: $2bx$
• 行列の事情:
  • 行列 $B$ が対称 ($B=B^T$) なら $2B\mathbf{x}$ となり、スカラーと完全に一致します。
  • 非対称なら $B$ と $B^T$ の和になります。

【行列二次形式】一般形 (Eq. 82)#

公式: $\frac{\partial \mathbf{b}^T X^T D X \mathbf{c}}{\partial X} = D^T X \mathbf{b}\mathbf{c}^T + D X \mathbf{c}\mathbf{b}^T$

• スカラー翻訳: $b \cdot x \cdot d \cdot x \cdot c$ の微分
  • 思考: $y = b c d x^2$ です。
  • 微分: $2 b c d x = d x (bc) + d x (cb)$
• 行列の事情:
  • $D$ と $D^T$ がそれぞれの項に掛かります。
  • $\mathbf{b}\mathbf{c}^T$ はベクトルの直積（行列）です。これも「係数」の一種と考えれば、構造は $dx \cdot (\text{係数})$ です。

【最小二乗法】残差二乗和の微分 (Eq. 83)#

公式: $\frac{\partial (X\mathbf{b}+\mathbf{c})^T D (X\mathbf{b}+\mathbf{c})}{\partial X} = (D + D^T) (X\mathbf{b}+\mathbf{c}) \mathbf{b}^T$

• スカラー翻訳: $d(xb+c)^2$ の微分
  • 思考: 合成関数の微分です。
  • 微分: $2d(xb+c) \cdot b$
• 行列の事情:
  • $2d$ $\to$ $(D+D^T)$
  • $(xb+c)$ $\to$ $(X\mathbf{b}+\mathbf{c})$
  • 最後の $b$ $\to$ $\mathbf{b}^T$ （行列の形にするため後ろから転置で掛ける）

【一般化最小二乗法】 $s$ での微分 (Eq. 84)#

公式: $\frac{\partial}{\partial \mathbf{s}} (\mathbf{x} - A\mathbf{s})^T W (\mathbf{x} - A\mathbf{s}) = -2 A^T W (\mathbf{x} - A\mathbf{s})$

• スカラー翻訳: $w(x - as)^2$ の $s$ による微分
  • 微分: $w \cdot 2(x - as) \cdot (-a) = -2aw(x - as)$
• 行列の事情:
  • 係数 $-a$ が、転置 $A^T$ となって前に出ます。

【単純最小二乗法】 $x$ での微分 (Eq. 85, 87)#

公式: $\frac{\partial}{\partial \mathbf{x}} (\mathbf{x} - \mathbf{s})^T W (\mathbf{x} - \mathbf{s}) = 2 W (\mathbf{x} - \mathbf{s})$ ※ Eq. 87 は中身が $(\mathbf{x} - A\mathbf{s})$ ですが構造は同じです。

• スカラー翻訳: $w(x - s)^2$ の $x$ による微分
  • 微分: $2w(x - s)$
• 行列の事情:
  • これは完全にスカラーと同じ形です。$W$ が対称行列と仮定されているため、$W+W^T = 2W$ となっています。

【単純最小二乗法】 $s$ での微分 (Eq. 86)#

公式: $\frac{\partial}{\partial \mathbf{s}} (\mathbf{x} - \mathbf{s})^T W (\mathbf{x} - \mathbf{s}) = -2 W (\mathbf{x} - \mathbf{s})$

• スカラー翻訳: $w(x - s)^2$ の $s$ による微分
  • 微分: $2w(x - s) \cdot (-1) = -2w(x - s)$
• 行列の事情:
  • これもスカラーと完全に同じです。合成関数の微分でマイナスが出るだけです。

【一般化最小二乗法】 行列 $A$ での微分 (Eq. 88)#

公式: $\frac{\partial}{\partial A} (\mathbf{x} - A\mathbf{s})^T W (\mathbf{x} - A\mathbf{s}) = -2 W (\mathbf{x} - A\mathbf{s}) \mathbf{s}^T$

• スカラー翻訳: $w(x - as)^2$ の $a$ による微分
  • 微分: $2w(x - as) \cdot (-s) = -2ws(x - as)$
• 行列の事情:
  • 係数 $-s$ が掛かる位置に注目してください。行列演算の整合性を保つため、ベクトル $\mathbf{s}$ は転置 $\mathbf{s}^T$ されて一番後ろに掛かります。
  • これにより $(m \times 1) \times (1 \times n) = m \times n$ 行列（$A$ と同じサイズ）が生成されます。

ここまでのまとめ：行列微分の「型」#

Eq. 76〜88 を通して見えてくるのは、以下のシンプルなルールです。

1. 二乗 ($x^2$) の微分は $2x$ になる。
   • 行列なら $x^T A x \to 2Ax$ （または $(A+A^T)x$）。
2. 積 ($uv$) の微分は $u'v + uv'$ になる。
   • 行列でも項が2つ出てくる。
3. 合成関数 ($f(ax)$) の微分は中身の微分 ($a$) が外に出る。
   • 行列なら $A^T$ が前に出るか、後ろに $A^T$ がつく。

この「型」さえ認識できていれば、添字 $i, j, k, l$ の海に溺れることなく、瞬時に式の正しさを検証できるようになります。

【複素微分】LMSアルゴリズム (Eq. 89)#

公式: $\frac{\partial (a - \mathbf{x}^H \mathbf{b})^2}{\partial \mathbf{x}} = -2 \mathbf{b} (a - \mathbf{x}^H \mathbf{b})^*$ ※ 原典の指数 $^4$ は明らかに誤植（共役 $*$ の文字化け等）なので、一般的な共役として扱います。

• スカラー翻訳: $|a - \bar{x} b|^2$ の $x$ による微分
  • 思考: 複素数の世界では、実数値関数 $J = |e|^2 = e \bar{e}$ を $x$ で微分する際、$x$ と $\bar{x}$ を独立変数として扱います（ヴィルティンガー微分）。
  • 微分: $\frac{\partial}{\partial x} (e \bar{e}) = \frac{\partial e}{\partial x} \bar{e} + e \frac{\partial \bar{e}}{\partial x}$ ここで $e = a - \bar{x} b$ なので、$\frac{\partial e}{\partial x} = 0$、$\frac{\partial \bar{e}}{\partial x} = -b$ となります。 よって、結果は $e \cdot (-b) = -b (a - \bar{x} b)$ です。
• 行列の事情:
  • スカラーの計算結果 $-b e$ に対して、ベクトルの世界では $e$ がスカラーで $\mathbf{b}$ がベクトルです。
  • LMSアルゴリズムなどの勾配方向としては、通常 $e$ の複素共役をとった $-2 \mathbf{b} e^*$ という形（またはその変種）が使われます。原典の式もこの構造を示しています。

【高次形式】行列のn乗の成分微分 (Eq. 90)#

公式: $\frac{\partial (X^n)_{kl}}{\partial X_{ij}} = \sum_{r=0}^{n-1} (X^r J^{ij} X^{n-1-r})_{kl}$

• スカラー翻訳: $x^n$ の微分
  • 思考: $y = x^n = \underbrace{x \cdot x \cdots x}_{n \text{ 個}}$
  • 微分: 積の微分則を適用します。 $y' = \mathbf{1} \cdot x^{n-1} + x \cdot \mathbf{1} \cdot x^{n-2} + \cdots + x^{n-1} \cdot \mathbf{1}$ 項が $n$ 個あるので、足し合わせると $n x^{n-1}$ になります。
• 行列の事情:
  • スカラーなら $x$ を自由に交換してまとめられますが、行列は非可換（掛け算の順序を変えられない）です。
  • そのため、「$r$ 番目の $X$ を微分した」という履歴を残すために、$X^r (\text{微分}) X^{n-1-r}$ という項をそのまま並べて足すしかありません。
  • 結果として、「$n$ 個の項の和」という構造はスカラーと同じですが、項を統合できないため $\sum$ の形で残ります。

【高次形式】高次双線形形式 (Eq. 91)#

公式: $\frac{\partial \mathbf{a}^T X^n \mathbf{b}}{\partial X} = \sum_{r=0}^{n-1} (X^r)^T \mathbf{a} \mathbf{b}^T (X^{n-1-r})^T$

• スカラー翻訳: $a \cdot x^n \cdot b$ の微分
  • 思考: $y = ab x^n$
  • 微分: $y' = ab \cdot n x^{n-1} = \sum_{r=0}^{n-1} a b x^{n-1}$
• 行列の事情:
  • これも Eq. 90 と同じ論理です。$X^n$ の微分が $n$ 個の項の和になるため、全体も $n$ 個の項の和になります。
  • 各項において、係数ベクトル $\mathbf{a}, \mathbf{b}$ が真ん中に挟まります（スカラーでいう $ab$ の部分）。
  • 行列の形に合わせるため、$\mathbf{a}\mathbf{b}^T$（直積）となり、さらに左右の $X$ に転置 $^T$ がかかります。
  • 構造: $\sum (\text{左のX})^T \cdot (\text{係数}) \cdot (\text{右のX})^T$

まとめ#

これで Page 11 の全公式の翻訳が完了しました。 どんなに複雑な行列微分も、結局は以下の3パターンに帰着することがお分かりいただけたかと思います。

1. 係数 2 が出る $\leftarrow$ $x^2$ の微分だから
2. 項が 2 つ出る $\leftarrow$ 積 $xy$ の微分だから
3. 項が $n$ 個出る $\leftarrow$ $x^n$ の微分だから

この「スカラー感覚」を持った上で、転置の位置だけ気をつけるようにすれば、行列微分はもう怖くありません。