last_modified: 2026-01-20

生成AIによる自動生成記事に関する免責事項: 本記事は、2026年（論文公開年は2025年）に公開された論文 “Nested Learning: The Illusion of Deep Learning Architecture” の内容に基づき、大規模言語モデルによって作成された解説記事です。記述内容は論文内の数理的定義と実験結果に基づき正確性を期していますが、詳細な実装や証明については、必ず末尾の参考文献（元論文）を参照してください。

1. 序論#

過去数十年にわたり、機械学習の進歩は、より強力なニューラルアーキテクチャの開発と、それらを効果的に訓練するための最適化アルゴリズムの設計に集中してきた 。特に大規模言語モデル（LLM）の登場は、Transformerアーキテクチャとスケーリング則の成功を象徴しているが、依然として根本的な課題が残されている。それは、モデルがいかにして継続的に学習（Continual Learning）し、自己改善し、未知のタスクに適応するかという問題である 。

従来の深層学習の視点では、モデルは「層（Layer）」の積み重ねとして表現され、訓練プロセス（最適化）とアーキテクチャは分離された概念として扱われてきた。しかし、新たなパラダイムである Nested Learning (NL) は、機械学習モデルを一連の「入れ子状（Nested）、多層的、あるいは並列的な最適化問題」の集合体として再定義する 。

本稿では、NLの理論的枠組みに基づき、以下の点について学術的な詳細を論じる。

1. 最適化アルゴリズムの再解釈: 勾配降下法（Gradient Descent）やAdamなどのオプティマイザが、実は勾配情報を圧縮する「連想記憶（Associative Memory）」であることを数理的に示す 。
2. アーキテクチャの統一: TransformerやRNNなどの既存アーキテクチャが、異なる「更新頻度（Frequency）」を持つ最適化問題のインスタンスであることを明らかにする 。
3. HOPEアーキテクチャ: 自己修正能力を持つ学習モジュールと、連続体メモリシステム（Continuum Memory System: CMS）を組み合わせた新たなモデルHOPEの構造と性能について詳説する 。

2. 歴史的背景と問題の所在#

2.1 静的なモデルと「前向性健忘」の類似性#

現在のLLMは、事前学習（Pre-training）が完了した時点でパラメータが固定される「静的」な性質を持つ。これは、神経科学における「前向性健忘（anterograde amnesia）」—新たな長期記憶を形成できず、即時の現在しか経験できない状態—に類似している 。文脈内学習（In-Context Learning: ICL）は一時的な適応を可能にするが、その知識はコンテキストウィンドウが閉じられると共に失われ、長期記憶（重み）には統合されない 。

2.2 脳の神経可塑性と多重時間スケール#

対照的に、人間の脳は神経可塑性（Neuroplasticity）により、経験に応じて構造を再編成する 。また、脳の活動は単一のクロックで同期しているのではなく、ガンマ波（高速）からデルタ波（低速）まで、異なる周波数の振動（Brain Oscillations）によって協調している 。 NLは、この脳の「多重時間スケール（Multi Time Scale）」の概念を深層学習に導入する。モデル内の各コンポーネント（ニューロンや層）は、それぞれ固有の周波数で更新される最適化問題として定式化される 。

3. 数学的枠組み：最適化としての学習#

NLの中核は、ニューラルネットワークの訓練プロセスそのものを「連想記憶の最適化」とみなす点にある。

3.1 連想記憶としてのバックプロパゲーション#

一般に、連想記憶 $\mathcal{M}$ は、キー集合 $\mathcal{K}$ を値集合 $\mathcal{V}$ にマッピングする演算子として定義される 。 データセット $\mathcal{D}_{train}=\{x_t\}$ 上で損失関数 $\mathcal{L}$ を最小化する1層のMLP（重み $W$）の訓練を考える。勾配降下法（SGD）による更新式は以下の通りである。

$W_{t+1} = W_t - \eta_{t+1} \nabla_{W} \mathcal{L}(W_t; x_{t+1})$

ここで、連鎖律により $\nabla_{W} \mathcal{L} = \nabla_{y} \mathcal{L} \cdot x_{t+1}^\top$ （$y$は出力）となる。この更新式は、以下の最適化問題の解と等価である 。

$W_{t+1} = \underset{W}{\text{argmin}} \left\{ \langle W x_{t+1}, \nabla_{y_{t+1}}\mathcal{L}(W_t; x_{t+1}) \rangle + \frac{1}{2\eta_{t+1}} \|W - W_t\|_2^2 \right\}$

この定式化は、バックプロパゲーションが「入力データ $x$」を「予測誤差（局所的なサプライズ信号） $\nabla_{y}\mathcal{L}$」に関連付ける連想記憶であることを示唆している 。すなわち、ニューラルネットワークの訓練とは、データとその予測誤差のマッピングを圧縮するプロセスであると解釈できる。

3.2 Momentum（慣性項）の再解釈#

さらに、Momentumを用いた勾配降下法を考える。 $m_{t+1} = \alpha m_t - \eta \nabla_W \mathcal{L}$ $W_{t+1} = W_t + m_{t+1}$

NLの視点では、Momentum $m$ 自体が、過去の勾配情報を圧縮する学習可能なパラメータ（連想記憶）とみなされる 。これは「2レベルの入れ子状最適化」構造を形成する。

1. 内側ループ（レベル2）: Momentum $m$ が勾配の履歴を学習・圧縮する。
2. 外側ループ（レベル1）: 重み $W$ が Momentum の値を用いて更新される。

3.3 一般化された最適化：Delta Gradient Descent (DGD)#

従来の勾配降下法は、内積（ドット積）類似度を目的関数としているため（式9参照）、現在の入力と状態の依存関係を十分に捉えきれない場合がある。NLは、より表現力の高い学習ルールとして、学習率 $\eta_t$ を調整した Delta Gradient Descent (DGD) を提案する 。

$L_2$回帰損失を目的関数とした場合、更新則は以下のようになる（導出は補遺を参照） 。

$W_{t+1} = W_t (I - \eta'_t x_t x_t^\top) - \eta'_t \nabla_{y_t}\mathcal{L}(W_t; x_t) \otimes x_t$

ここで、$\eta'_t$ は正規化された学習率である。この更新式は、重みが現在の入力データに基づいて適応的に減衰（Weight Decay）することを示しており、データの相関関係をより効果的に捉えることが可能となる。

4. 連続体メモリシステム (Continuum Memory System: CMS)#

従来のモデルにおける「短期記憶（Activations）」と「長期記憶（Weights）」の二分法を拡張し、NLは**連続体メモリシステム（CMS）**を提案する 。これは、更新周波数 $f$ が異なる複数のメモリブロック（MLP層）の連鎖として定義される。

4.1 構造と更新則#

CMSは、$k$個のMLPブロック $MLP^{(f_1)}, \dots, MLP^{(f_k)}$ から構成され、入力 $x_t$ に対して以下のように出力を計算する。

$y_t = MLP^{(f_k)}( \dots MLP^{(f_1)}(x_t) \dots )$

各ブロック $l$ は、それぞれの更新周期（Chunk Size）$C^{(l)}$ ごとにパラメータ $\theta^{(f_l)}$ を更新する 。

$\theta_{i+1}^{(f_l)} = \theta_{i}^{(f_l)} - \text{UpdateRule}(\theta, \text{Context}^{(l)})$

• 高周波数（低レベル）: 入力ごとに頻繁に更新され、短期的な適応を担う（例：文脈内学習）。
• 低周波数（高レベル）: 稀に更新され、長期的・永続的な知識を保持する（例：事前学習された重み）。

この階層構造により、高レベルの知識が低レベルの高速な更新によって上書きされる「破滅的忘却（Catastrophic Forgetting）」を緩和し、時間方向のループ構造によって記憶の保持を強化する 。

4.2 Multi-scale Momentum Muon (M3) オプティマイザ#

CMSの概念を最適化アルゴリズムに応用したのが M3 オプティマイザである 。M3は、異なるタイムスケールを持つ複数のMomentum項（$M^{(1)}, M^{(2)}$）を持ち、それぞれが異なる長さの過去の勾配情報を圧縮する。さらに、Muonオプティマイザ のNewton-Schulz反復を用いて、勾配を適切な直交空間にマッピングする。これにより、長期的な文脈を考慮した「効果的な解」への収束が可能となる。

5. HOPE: 自己言及的学習モジュール#

NLパラダイムの実装として提案されたアーキテクチャが HOPE である。HOPEは、Self-Modifying Titans と CMS を統合したニューラル学習モジュールである 。

5.1 Self-Modifying Titans#

従来のTransformerでは、Key, Value, Queryの射影行列（$W_k, W_v, W_q$）は固定されていた。HOPEでは、これらのパラメータ自体も文脈に応じて更新される「自己修正（Self-Modifying）」メカニズムを導入する 。 具体的には、モデルは自身の学習ルール（学習率 $\eta_t$ や忘却率 $\alpha_t$）や、メモリに書き込む値自体を生成する。

$W_{t+1} = \text{Update}(W_t, x_t, \eta_t(x_t), \alpha_t(x_t))$

この自己言及的なプロセスにより、モデルは入力データの特性に応じて、学習の挙動を動的に調整することが可能となる。

5.2 アーキテクチャの全体像#

HOPEは以下の2つの主要コンポーネントで構成される 。

1. 高周波数層 (Self-Modifying Titans): 入力トークンごとにパラメータを更新し、即座に適応する。DGDを用いて最適化される。
2. 低周波数層 (CMS): 複数のMLPブロックが階層的に配置され、長いタイムスケールでの知識を保持する。

この構成は、TransformerのAttention（高周波数）とFFN（低周波数）の役割を、より一般的かつ動的な「学習モジュール」として再構築したものと言える。

6. 実証的評価#

HOPEおよびNLに基づく手法の有効性は、複数のベンチマークで検証されている。

6.1 連続学習（Continual Learning）#

CLINC、Banking、DBpediaなどのデータセットを用いたクラス増分学習タスクにおいて、HOPEは既存の手法（EWCやInCA）を上回る精度を達成した 。特に、CMSのレベル数を増やすことで、新しいタスクに適応しつつ過去の知識を保持する能力が向上することが示された。

6.2 長文脈理解（Long Context Understanding）#

Needle-In-A-Haystack（NIAH）ベンチマークにおいて、HOPEは最大1,000万トークンの文脈長まで高い性能を維持した 。 特筆すべきは、“Multi-key” や “Multi-query” といった難易度の高い設定において、従来のTransformerやRWKV-7などの線形RNNモデルを大幅に上回るスコアを記録した点である 。これは、自己修正メカニズムとCMSによる深い計算深度（Computational Depth）の寄与によるものと考えられる。

6.3 言語モデリングと推論#

WikitextやPIQAなどの標準的な言語モデリング・常識推論タスクにおいても、HOPEは同等のパラメータ数を持つ既存モデル（RetNet, Mamba, Llama-8B等）と比較して、平均的に優れたperplexityと精度を達成した 。

6.4 形式言語認識#

Transformerが苦手とする状態追跡（State Tracking）を要する形式言語認識タスク（Parity checkなど）において、HOPEはLSTMと同様に100%の精度を達成した 。これは、DGDによる非線形な更新則が、複雑な状態遷移の学習に有効であることを示唆している。

7. 結論#

Nested Learning (NL) は、深層学習モデルを「静的なアーキテクチャ」から「動的な最適化プロセスの集合体」へと視点を転換させるパラダイムである 。 本稿で解説した以下の要素は、次世代のAIモデル設計における重要な指針となる。

• 最適化とアーキテクチャの融合: オプティマイザを連想記憶として扱うことで、より表現力の高い学習則（DGD等）が導出された。
• 多重時間スケール (CMS): 脳の構造に倣い、異なる周波数で更新されるメモリシステムを導入することで、破滅的忘却への耐性と長文脈理解能力が向上した。
• 自己修正能力: モデルが自身の学習プロセスを制御することで、未知のデータ分布への適応能力が高まった。

NLの視座に立てば、バックプロパゲーションや事前学習といった既存の概念も、すべては「文脈圧縮と知識転移」のメカニズムとして統一的に理解される。今後の研究は、単に層を深くするのではなく、この「入れ子状の学習レベル」をどのように設計・制御するかに焦点を移すべきであろう 。

参考文献#

1. Original Paper: Behrouz, A., Razaviyayn, M., Zhong, P., & Mirrokni, V. (2025). Nested Learning: The Illusion of Deep Learning Architecture. Google Research.
2. Optimizers: Kingma, D. P., & Ba, J. (2014). Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980.
3. Transformer: Vaswani, A., et al. (2017). Attention is All you Need. NIPS.
4. Neuroscience: Scoville, W. B., & Milner, B. (1957). Loss of recent memory after bilateral hippocampal lesions.
5. Continual Learning: Kirkpatrick, J., et al. (2017). Overcoming catastrophic forgetting in neural networks. PNAS.
6. Linear Attention: Katharopoulos, A., et al. (2020). Transformers are RNNs. ICML.
7. Benchmarks:
   • Hsieh, C.-P., et al. (2024). RULER: What’s the Real Context Size of Your Long-Context Language Models?.
   • Kuratov, Y., et al. (2024). BABILong.