『The Matrix Cookbook』Page 16完全解読：テープリッツ行列の微分と構造化行列の総括

1571 words

8 minutes

『The Matrix Cookbook』Page 16完全解読：テープリッツ行列の微分と構造化行列の総括

2026-01-10

Mathematical Science

Matrix Calculus

Toeplitz Matrix

Signal Processing

Time Series Analysis

Structured Matrices

last_modified: 2026-01-10

生成AIによる自動生成記事に関する免責事項: 本記事は、Petersen & Pedersen著 The Matrix Cookbook (Nov 15, 2012 edition) のPage 16の内容（公式143〜144）を骨子とし、数理的な証明と応用例を大幅に加筆して再構成した解説記事です。筆者の学習目的で生成したものです。正確な内容は必ず一次情報で確認してください。

1. 序論：時系列データの構造を捉える#

ついに最終ページ、Page 16 です。ここでは テープリッツ行列（Toeplitz Matrix） という特殊な構造化行列の微分を扱います。

テープリッツ行列は、対角線上の成分がすべて同じ値を持つ行列です。

T = \begin{bmatrix} t_0 & t_{-1} & t_{-2} \\ t_1 & t_0 & t_{-1} \\ t_2 & t_1 & t_0 \end{bmatrix}

この構造は、時系列データの自己相関行列や、畳み込み演算（Convolution）を行列形式で書いたときに現れます。そのため、ARモデル（自己回帰モデル）の推定やフィルタ設計などの最適化問題において、この行列での微分が必要不可欠となります。

2. テープリッツ行列の微分 (Eq. 143)#

テープリッツ行列 $T$ に関するトレースの微分は、単純な転置では得られません。対角成分同士が「連動」しているため、それらを足し合わせる操作が必要になります。

2.1 一般公式と $\alpha(A)$ の定義#

【公式】

\frac{\partial \text{Tr}(AT)}{\partial T} = \frac{\partial \text{Tr}(TA)}{\partial T} = \alpha(A) \tag{143}

ここで $\alpha(A)$ は、行列 $A$ を元に作られる特別なテープリッツ行列です。

【 $\alpha(A)$ の生成ルール】 $\alpha(A)$ の各対角線上の成分は、元の行列 $A$ （および $A^T$ ）の対応する対角線上の成分の総和になります。

主対角成分: $A$ のトレース（対角成分の総和） $\text{Tr}(A)$ 。
副対角成分: $A^T$ の対応する対角線の成分和。

具体的には、 $\alpha(A)$ 自体もテープリッツ構造を持ち、その $k$ 番目の対角成分 $h_k$ は以下のように計算されます。

h_k = \sum_{i} A_{i, i+k} \quad (\text{あるいは } A^T \text{ の成分和})

※ 原典の記述は少し複雑ですが、要するに**「連動している成分（同じ対角線上の成分）に対応する $A$ の係数をすべて合計する」**という操作です。

【導出のロジック：連鎖律の応用】 Page 15 の連鎖律（Eq. 133, 137）を思い出してください。

\frac{\partial f}{\partial t_k} = \sum_{ij} \frac{\partial f}{\partial T_{ij}} \frac{\partial T_{ij}}{\partial t_k}

テープリッツ行列では、ある変数 $t_k$ は行列 $T$ の $k$ 番目の対角線上のすべての成分に現れます。したがって、 $t_k$ で微分すると、その対角線上にあるすべての位置の「仮の勾配（ $A$ の成分）」が足し合わされることになります。これが $\alpha(A)$ の正体です。

3. 対称テープリッツ行列 (Symmetric Toeplitz) (Eq. 144)#

さらに制約が加わり、テープリッツかつ対称（ $T = T^T$ ）である場合です。これは自己共分散行列などで頻繁に現れる構造です。

3.1 公式#

【公式】

\frac{\partial \text{Tr}(AT)}{\partial T} = \alpha(A) + \alpha(A)^T - \alpha(A) \circ I \tag{144}

【解説】 これは、以下の2段階の補正を組み合わせたものです。

テープリッツ補正: まず構造を無視して、テープリッツ性だけを考慮した勾配 $\alpha(A)$ を作る（Eq. 143）。
対称性補正: Page 15 Eq. 138 の対称行列の微分公式 $G + G^T - G \circ I$ を適用する。

つまり、 $\alpha(A)$ を「仮の勾配 $G$ 」と見なして、対称化処理を行っているわけです。これにより、テープリッツ構造（対角連動）と対称構造（転置連動）の両方を満たす正しい勾配が得られます。

4. シリーズ総括：行列微分の全体像#

これにて『The Matrix Cookbook』の微分セクション（Page 8〜16）の解説が完了しました。全体を振り返ると、以下の3つの層で理解できます。

基本の層（Page 8-12）:
- 行列式や逆行列の微分。
- 重要なのは $\partial \ln|X| = X^{-T}$ と $\partial X^{-1} = -X^{-1} (dX) X^{-1}$ 。
実用の層（Page 13）:
- 二次形式とトレースの微分。機械学習の損失関数はほぼこれ。
- 重要なのは $\partial \text{Tr}(X^T X) = 2X$ （正則化の勾配）。
構造の層（Page 14-16）:
- 対称行列、対角行列、テープリッツ行列。
- 重要なのは 「構造があると、単純な微分（Naive Gradient）を足し合わせたり（射影）、成分を引いたり（重複補正）する必要がある」 という連鎖律の考え方。

この体系を頭に入れておけば、どんな複雑な行列演算を含むAIモデルや物理シミュレーションでも、自力で勾配を導出し、実装することができるはずです。

参考文献#

Petersen, K. B., & Pedersen, M. S. (2012). The Matrix Cookbook. Technical University of Denmark. (Page 16, Eqs 143-144)
Gray, R. M. (2006). Toeplitz and Circulant Matrices: A Review. Now Publishers. (Toeplitz matrices in physics and signal processing)

補足：テープリッツ行列微分の直感（配線図ふたたび）#

Page 15 で導入した「スイッチと電球」のアナロジーは、テープリッツ行列でこそ真価を発揮します。

1. 一般の行列（独立）#

スイッチ $X_{11}$ は電球 $(1,1)$ だけを点ける。
スイッチ $X_{22}$ は電球 $(2,2)$ だけを点ける。
感度: それぞれ $A_{11}, A_{22}$ 。

2. テープリッツ行列（連動）#

スイッチ $t_0$ （主対角成分用の変数）を押すと、対角線上の全電球 $(1,1), (2,2), (3,3), \dots$ が一斉に点灯します。
感度: したがって、 $t_0$ に対する感度は、個々の場所の感度の総和になります。 $\frac{\partial f}{\partial t_0} = A_{11} + A_{22} + A_{33} + \dots = \text{Tr}(A)$
これが $\alpha(A)$ の対角成分が $\text{Tr}(A)$ になる理由です。