講演者： 新里　隆 氏（東京工業大学大学院 総合理工学研究科）
日時：６月　６日（金）　午後４時３０分から
場所： 青山学院大学　理工学部（相模原キャンパス）Ｌ棟６階　Ｌ６０３室

題目： 「ランダムスピン系の数理を用いた学習問題の解析」



要旨：
　　近年一部の大規模統計計算を要する情報処理の問題や
与えられたデータから最適な判断を必要とする確率推論の問題と，
統計力学の数理的構造との類似性が認識されるようになり，
情報科学・学習理論と統計力学の横断的な研究が活発に行われている．
本発表では以下の2部構成からなる．

◎情報理論と統計力学の意外な関係；
自然な拡張として，エントロピーの表現を援用すると，
情報量を定義することができ，またそれ以外にも
確率構造を内包するという「形式的な類似性」や，
情報理論に見られる相転移現象を概説する．

＠学習理論の相転移現象；
我々が最近行った「入力例題に相関をもつ学習例題
におけるイジングパーセプトロンの記憶容量」を概説する．
既存手法では解析が困難だった学習問題に対して我々は，
ランダム直交行列（Haar測度，ランダム直交群）の方法を用い，
記憶容量の評価をレプリカ法とThouless-Anderson-Palmer法の
2種類の解析手法により行った．

前半部分は統計力学と相転移を知っていれば初学者でも
分かる内容ではあるが，補助的にいくつか参考文献を挙げておく．
後半は初学者にも難しいが，できるだけ物理学の知識だけで
閉じるよう，直感的な説明を心がけたい．情報統計力学が気になる方は
参考文献（専門家向け）を参照されたい．

Keyword；平衡統計力学，スピングラス理論，相転移構造，情報エントロピー，
Shannonの通信路符号化定理，記憶容量，Gardner容量，etc．

参考文献（初学者向け）

「情報の物理学」豊田正著，講談社
「情報の統計力学」篠本滋著，丸善
「学習と情報の平均場理論」樺島祥介著，岩波
「スピングラスと連想記憶」西森秀稔著，岩波

参考文献（専門家向け）
「スピングラス理論と情報統計力学」西森秀稔著，岩波
「確率的情報処理と統計力学」田中和之編著，サイエンス社
「Statistical Mechanics of Learning」A. Engel et. al. Cambridge
E. Gardner, J. Phys. A 21, 257 (1988)
Krauth et. al., J. Physique 50 3056 （1989）
T. Shinzato et. al. arXiv:0712.4050v1



---------------------------------