▼ なんか、「アメリカのブログは日本よりレベルが高い」とか「日本のブログは・・・」とかという議論を見ていると、あれを思い出すな。
ちょっと昔まで、「欧米人は日本人より美しい」とか「美男美女ばかりだ」とか言っている人がよくいたものだ。最近は言わないけど。想像するにこれには理由が二つあって、今みたいに欧米人が当たり前に国内に居たり、日本人がどんどん海外旅行をするようになる前の時代は、日本人が見る欧米人と言うのはほとんど映画俳優だったということ。俳優は大抵は選ばれた美男美女である。もう一つは美の基準自体が欧米に影響されていたこと。
▼ SONYのコクーンが勝手に撮っていたので、 いつどのチャンネルなのか知らないけど「ヘビメタさん」が面白い。
▼ 自分のやっている研究がクズであるような思いに悩まされる。 まあしかし、私の基準では一流雑誌に載っている学術論文でさえ95%はクズであって、基準が厳しすぎるわけだから、私の基準でクズであるからと言って恥ずべき事ではないのかもしれない。
▼ "Need your reference for SFN membership"と題されたフィッシングらしきメールが来る。 やはり、SfNがSPAM業者にメールアドレスを漏らしたのではないかと疑ってしまう。
（30日追記：詐欺メールだろうとは思うけど、「フィッシング」ではありませんね。 用語の使い方が間違っていました。）
▼ How visual stimuli activate dopaminergic neurons at short latency, SCIENCE 307
上丘をdeactivateしたら中脳ドーパミン細胞の選択性が変わったという話。
▼ 中脳ドーパミン細胞は視覚刺激に応答して報酬価を求めたりできるんだけど、その反応潜時はやけに短い。複雑な物体の形状の認識なんかに関係していると考えられている下側頭葉の潜時よりも遥かに短い。物体の認識ができる前にその報酬価がわかるのだから「そんなアホな」という感じである。あるいは別経路で物体の認識ができるなら複雑で巨大な下側頭葉がなんの為にあるのかという話になる。
さて、話し変わって、 下側頭葉も含めて新皮質の３分の１くらいの膨大な領野は視覚の為に使われている。これは一般には、視覚は非常に複雑なものであり、その複雑精妙な処理の為にはそれだけの量が必要だと言うのが一般的な意見である。ま、正解はだれも知らないわけだけど。
しかし、個人的にはちょっと違うことを考えている。
視覚には３つの非常に目立つ変換不変性が必要で、それが他の感覚との大きな違いである。一つは並進不変性、二つめは拡大縮小不変性、三つめは回転不変性である。（回転不変性には網膜上の２次元回転と空間内の３次元回転がある。）我々の視覚認知はこれらの変換によって大きく影響を受けないように出来ている。
この不変性を実装するにはどうしたら良いか？ これが簡単じゃないんだな。 僕も最初は「フーリエ変換してやってから並進不変な高次モーメントを作って」とか考えたけど、うまくいかなかった。
結局結論としては、
（視野中心でパターンに一致するか）＋（視野中心から1度ずれてパターンに一致するか）+（視野中心から2度ずれてパターンに一致するか）+・・・
とかってやるよりないと考えるようになった※。ここで「＋」は論理和ね。拡大縮小や回転についても同じ。この方法は膨大な結線が必要になる。そのために、大量の皮質と白質を必要とするのではないか。
で、戻って、つまり並進、拡大／縮小、回転不変性が弱くてもいいなら、複雑な物体の形状認識が意外と上丘＋黒質くらいで出来ても不思議ではないのかも知れない。
※このような方法で並進対称性を確保しているとしたら、つまり上の式のような演算をしていたとしたら、一つの帰結がある。 それは低次視覚野から高次視覚野への投射は一所に比較的固まっているのに対して高次視覚野から低次視覚野への投射は何ケ所かに別れていなければならない、と想像される。 実際にそう言う投射の傾向があることを示した研究は存在する。（って言うか我々のラボの研究。）
▼ 世界は多数の独立な信号源（〜確率変数）から成り立っている。 それが一般に非線形な変換を受けて感覚信号になる。 これが脳の外の世界の基本的モデルであると考えてみる。
で、この非線形な変換を受けた確率変数の分布からもとの独立な信号源を復元する事は知覚の基本的モデルとなるのではないだろうか。それが可能ならの話だけど。
独立な信号源とはある実数を確率分布に従ってランダムに選びだす何ものかである。
例えば、感覚信号が網膜から出る神経のインパルスであり、見えている物体が一つのリンゴであったとしよう。このとき独立情報源とは、たとえばリンゴの色、リンゴのてっぺんがどちらの向きを向いているか、リンゴが網膜上のどこに見えるか、リンゴの網膜上の見かけの大きさはどれくらいか、などである。
リンゴの色はリンゴ自体のせいで決まっているし、てっぺんがどっちを向いているかは置いた人のやった事だし、網膜上のどこに見えるかは見ている人の視線がどっちを向いているかの問題だし、みかけの大きさは見ている人がどこにいるかの問題だ。これらはみな別々の原因から生起しているので互いに無関係なのだ。
無関係と言う事は情報理論では独立（＝相互情報量がゼロ）ということだ。
これらの独立な信号源 si (i=1,..,n)は、外界と言う謎の関数によって非線形な変換 g(s) をうけて感覚信号となる。（視覚について言えば完全に謎という訳ではなくて光学の問題に過ぎない訳だけど他の感覚では謎は多い。）
もし、変換 g の逆変換を学習によって求めるアルゴリズムが分かれば、例えばリンゴの色や、向きのような対象の性質を網膜像から求める事ができるわけだから、これを全ての知覚の基本的モデルとすることができるわけだ。
▼ では逆変換g-1を求める事はどのようにして可能だろうか？
これまでは教師付き学習が必要であると考えられてきたと思う。
しかし、感覚信号 x = g(s) の観測から求めた確率分布 p(x) が分かっている時 g-1 はほとんど再構成できる。その学習に教師信号は不要である。
では、実際に
p(x)
から f = g-1を獲得する
学習則を作ってみよう。そのためには sの確率分布q1(s1) q2(s2) ... qn(sn)
≡ q(s)とし、y = f(x) としてKL-divergence:
I = ∫dy { p(y) log p(y) - p(y) log q(y)}
を最小化するようなfを求めればよい。（ただし分かるのは以下の「ゲージ自由度」を除いてである。）I は常に正で、p(y) = q(s) の時に、そしてその時だけにゼロになるからである。ここでp(y)はyの確率分布。
ただし、p(y) = q(s)であるからと言って y = s、すなわち f = g-1であるとは言えない。yiとyjを交換する自由度がある事は言うまでもないが、さらに変換 y→y' がp(y) = |∂y/∂y'|p(y')を満たす変換であればこの変換は確率分布p(y)を変えないので、等しくIを最小化している。つまりp(y)を変えないfの集まりは空間をなしていて、真のg-1はこの空間の中の一点である。この自由度の部分は決定する事ができない。この自由度を場の理論との連想から「ゲージ自由度」、件の変換を「ゲージ変換」と呼ぼう。
▼ で、このゲージ自由度分は決める事ができない。だけれどもある程度妥当な代表点を選ぶ事はできる。なんらかの基準により恒等変換 f(x) = x にできるだけ近い(※1)物を選ぶのが良いだろう。 そのためにどのような基準で代表点を選ぶのが良いのか、そしてそれを効率的(※2)に実現できるアルゴリズムを求める事。これが今後、研究するべき事である。
※1、恒等変換 f(x) = x に近い物を選ぶのがなぜ良いと思うのかについて。一つは、脳の外の世界がこの「ゲージ変換（＝確率分布を変えずに変数を混合する変換）」を行う事はあまりないだろうと言う期待からである。二つめにはゲージ変換の方向については全く不定であるが、全く分からないなら取りあえずゼロと見積もりしておくのが一番誤差が少ない見積もりであろうという期待である。多元一次方程式のsingularな方向についても同様なことはよく行われる。
※2、Newton法もそうだし自然勾配や共役勾配法などもそうだが、高速の最適点探索アルゴリズムは一般に二次の勾配の逆を利用する。しかし、ゲージ自由度は最適化するべき関数について平坦であってその方向の２次の勾配がゼロになりその方向に強く引っ張られる傾向がある。この２次の勾配法とゲージ自由度を共存させる事がこれから研究するべき事である。
さらに、この問題を面倒にするのは、現実には f(x) は有限個のパラメータでパラメトライズされた関数系であるために、その関数系はゲージ方向の自由度もないし、さりとて直交するわけでもない。直交しないのでゲージ自由度から悪影響を受けるが、ゲージ自由度がないから悪影響をexplicitに取り除く事もできない。
▼ 鈍い音とともに大きな揺れ 電車衝突のマンション(asahi.com)
近くの住民らがバールのような道具を持って駆けつける。だから「バールのような」ものってどんな物よ。
この文脈で、「近くの住民らがバールを持って駆けつける」と書いていけない 理由が分からない。単に「バール」って何なのか知らないだけではないだろうな。
▼ とうとう自動車免許を取るべく教習所に通うことにした。そうせざるを得ない。
▼ 花粉症対策としていますぐ杉を伐り倒すべきだ。 植林しながらとか悠長な事を言わず、山が崩れない程度の範囲で間引きしまくるべきだ。
植林しなくて良い分、速く対策ができるし、木を切って林床が明るくなった分だけ、自然の木も生えてくるし、ある程度生えてきたらまた杉を間引きできるし。
普通の間伐なら、良い木を残す目利きが必要だけど、これなら何も考えずに切り倒してよいので手間が省けると思う。 ついでに、林野庁の人手が足りなかったら、休日に普通の人のストレス解消に、チェーンソーを持たせて杉を切らせてもいいと思う。花粉症のもとに復讐できるし、「憎いあいつ」の顔を思い浮かべて伐ってもいい。きっと気持ちいいぞ。
▼ 最近のクリネックスはたくさん白い粉がでていや。銘柄を変えよう。
▼ そう言えば、先週ルーブル美術館展で見た、サロンというか絵画展に押し寄せる人々の絵が面白かった。多分１９世紀だと思うけど、その時代には絵画展に群衆が押し寄せたりしたのだ。
いまは美術鑑賞と言うのはそれほどポピュラーな趣味とは言えないけど、昔は、大衆が美術を楽しんでいると言う事を意味する。
「欧米のある程度以上の階級はいまだに物凄くスノッブで、そのスノッブが楽しむ「高級芸術」はじつは１８、１９世紀の大衆娯楽である」という私の説がまた一つ確認された。
▼ 売り物のプログラムもユーザインターフェイスの挙動を決めている部分のコードはオープンソースにしてしまえばいいのに。データ構造やエンジンは隠蔽してもいいけど。いわゆるLLで書いてあるとなお良し。
▼ NY村上隆によるサブカル展、現地の反応は？(exciteニュース)
もちろん展覧会は、新聞各紙で大絶賛。日本のポップ・サブカルチャーの質の高さに衝撃を覚えるとまで評価された。訪れたアメリカ人達は、おおむね感心した様子で作品に見入っている。
なんつーか、なんで村上隆が欧米で受けるのか疑問だけど、こういう事かな：
デュシャンまでは良かったけど、その後やることがなくなった現代アートは「よりアートらしからぬ事」をやるのがアートになってしまった。
例１、誰でもできる事をする
「写真をただシルクスクリーン印刷してみました」
わー、パチパチ
例２、子供向けや大衆向けのものを持ってくる
「漫画をカンバスに描いてアートと主張してみました」
わー、パチパチ
例３、アートは美という観念に挑戦して、わざと醜い事をやってみる
「俺様は偉大な天才ですと主張してみました」
わー、パチパチ
で、この種のアートらしからぬ物をつぎつぎ消費してきたけど、とうとうネタが尽きて、「もはやこれ以上アートらしからぬ物はあるまいと」みなが思っていた。
そこに現われる村上隆。
確かに誰が見ても「これはアートとちゃうのでは？」と内心思う。
で、わー、パチパチ。
大体ただの便器の次などない事に５０年前に気付いているべきなんだけどね。
▼ いまだに、つのだひろと、つのだじろうを間違える私。
▼ 昨日の話について、塩基配列の情報量が3M byteだからといって、それがコンピュータのプログラムで3M byteで表現できるかという問題がある。
コンピュータのプログラムには表現長のユニバーサリティがある。言語には表現力の差があって、例えば言語Bと言語Cでは同じプログラムを表現するのに必要な符号長に一般に定数倍の差がある、ように見える。でもそうではない。かりに言語Bの方が表現力に劣っていたとしても、言語Bで言語Cのインタープリタを書けば
（言語Bでの表現長）=（言語Cでの表現長）+（インタープリタの長さ）
となる。これは逆でもそうだし、あらゆる言語、VMの間に相互に成り立つので、異なるアルゴリズム表現手段の間の能力の差は高々定数の差でしかない。この定数は大体数十キロバイト程度と思って良いと思う。数十キロバイトどころか数メガバイトある言語処理系があるではないかと言うかも知れないが、それは効率を重視するからで、無限の処理能力を前提に効率を無視して表現の可能性だけを問題にすればそんなに大きくなる物ではない。
というわけで、Ｍbyteくらいアルゴリズムにとって、表現手段の違いは長さの違いにはならない。
このユニバーサリティは究極のものなので、 おそらく生体のアルゴリズムの表現手段がこれよりも効率がよいという事はないんじゃないかと思う。
▼ 昨日の話の、別な見積もりの仕方
ヒトのDNAは ３０億塩基対。 マウスは ２５億塩基対。遺伝子数も一割くらいしか違わない。
マウスと人の違いのうち一部が知能に関係していると考える。
コード領域の300M byteのうち、マウスと人の中立でない変異を10%と見積もる。 このうち脳に関係したものを10%と考える。 やっぱり300M byte×10%×10% = 3M byte。 もちろん昨日と同じく物凄く荒っぽい見積もり。
▼ 今日は山桜を見に行ってきた。
っていっても理研の裏の林に行っただけだけど。グラントハイツの跡地に勝手にはえてきたらしい。山桜は凛々しくていいね。
あと、分かりやすい奴だと、南地区へ行く坂を上りきったあたりの左手に、いい感じの山桜がありますね。明日だったらまだ間に合うので理研に居る人はどうぞ。
▼ 知能を支える生得的アルゴリズムの大きさの上限の見積もり
知能は生得的なアルゴリズムによって支えられている。生まれつきなんらかのアルゴリズムを持っていない限りは学習さえ不可能だからだ。では、人間が持っている生得的なアルゴリズムはどれくらいの大きさなのだろうか？DNAの塩基配列の方からその上限を推定してみよう。ここでとりあえず「知能」というのはネズミと人間か、あるいは爬虫類と人間との差分あたりのことね。
見積もりに必要な数字のうち、まずは科学的に明らかになっている数字から、
１、ヒトのDNAはおよそ30億塩基対
２、構成 （ここより引用）
遺伝子 (30%)
非コード領域 (27%)
コード領域 (3%)
非遺伝子 (70%)
偽遺伝子とスペーサー (52%)
繰り返し配列(18%)
つまり人のDNAの塩基に詰め込める情報量は一塩基あたり２ビットだから６０億ビット。おおよそ1G byte。
そのうちコード領域は3%だから、300M byteである。
次に私には数字を入手できなかったが、必要な数字をいくつか荒っぽく見積もってみよう。
コード領域のうち脳に関係したもの：10%
遺伝子の内、脳で発現していない物は脳の関係ない。 遺伝子の内、脳以外でも発現している物は多くは、知能と関係ないだろう。で、分からないけど1%では少なすぎるような気がするし100%はありえないので10%としておく。 いいかげんで済まんが、こういう「知りたいけど取りあえず分からない」という事柄に対しては取りあえずこういう荒っぽい見積もりで対処するしかない。 （注意：ここで「一つの遺伝子」とは一つのタンパク質に対応した塩基配列の領域のこと）
脳に発現した遺伝子のうち、知能に関係ある塩基配列：コード領域の塩基配列のうち10%
タンパク質のかなりの部分の配列は変わると機能が壊れるようなものである。その部分の配列は変異しようが無いので爬虫類あたりから不変のはずである。 あるいは中立であって変化に意味がない。だから配列の内10%くらいしか機能の変更に役立っていないとする。10%としたのはやはり1%では小さすぎるように思うからという程度。ネズミと人間の差のうち中立変異を除いたものはこれくらいの値になるのではないか。
（註：あと、もう一つアミノ酸配列を変える変異よりも発現制御に関わっている遺伝子の中の非コード領域の情報量について余り考えていないのも問題かもしれない。ひょっとするとそちらの方が脳にとっては重要である可能性もある。でも分かんないから見積もらない）
というわけで、コード領域の300M byte×10%×10%で3M byteが知能を支えるのに必要なアルゴリズムの記述長の上限。
仮に無限の演算力があるコンピュータがあって、それに3M byteくらいのプログラムを食わせれば人間の知性をエミュレートできるだろうと。
▼ と、以上のように１年ちょっと前まで考えていたのだけど、 去年書いた、 非遺伝子の領域から転写されたRNAが他のDNAに結合してさらに転写を制御したりするという可能性を知って考えが変わった。 だから今までどう書くべきか迷っていた。
一般にこれまでの考えとしては細胞内の信号経路としては DNA→RNA→細胞質タンパク質→タンパク質あるいはホルモン→DNA という経路が考えられてた。これには、一本の信号経路を増やすのに最低でも数百塩基配列が必要だ。実際は数千くらいかな。
しかし、先の可能性を考えに入れると DNA->RNA->DNAという経路があり得て、それはタンパク質を必要とする経路にくらべて塩基配列の情報密度として１０倍以上効率がいいし、時間的にも１０倍くらい速いのではないかと思う。
しかも非遺伝子領域はコード領域の１０倍以上大きいし、で上の生得的アルゴリズムの見積もりが100倍くらい上方修正される可能性がある。
でも、一方上の見積もりは上限であって、実際はもっと小さいんじゃないかというのが私の感覚である。とちょっと歯切れ悪く終わる。
▼ Flexible strategies for sensory integration during motor planning, Natureneurosci. 8 (2005) 490
私にはこれはまた一つの「脳は確率論的最適化問題を解いている」の例に見える。errorの最小化は、errorが確率的な物であるから、確率論的最適化問題の一種である。
▼ たいていの場合は言葉狩りはばかばかしいと思っている。対象の実体に対するイメージの悪さは、言葉を付け替えても解決しないと思っているからだ。意味があるのは実体が改善したのに古い言葉が残っている時とかくらい。
しかし言葉狩りをする人の心のうちと言うのは想像しにくい。 そう言う人は自らは言葉をどう変えようと対象に対する自分のイメージは変わらないと主張するだろう。自分だけは変わらないけど、人は変わるというのだろうか。
この辺りは、なんかポルノ規制をしたがる人に似ている。必ず「私はこれを見ても不道徳なことをする心配はありませんが、他の人はするでしょう」と信じている。
あと、災害時の行動なんかについてもアンケートを取ると「自分はパニックを起こさないけど、他の人はパニックに陥るだろうね」とか信じている人は多いらしいし。
そういや、数年前デノミ論が少し盛り上がった時「200万円の車が２万円になるんですよ、これで消費が盛り上がるでしょう」とか言っていた奴もいたな。お前は自分で「２万円だから安い」と思って間違って買ったりするのか、と問い詰めたい。
この種の人たちの特徴というのは「自分だけは特別だ」と思えることなんだろう。
▼ 去年の２月にいっていた この話について周辺からなるべく分かりやすく解説をしてみました。
Heisenberg描像の観測演算子の固有値問題と非可逆性について(PDF)
こんどは導出はなしで、何が問題で、何を前提に、何を証明したかに絞りました。
▼ 電気生理実験でとった細胞のスパイク列からそれが運んでいる情報量についての私流の定義を与えてみた。いま一般的な定義は即時的でなく、発火数のビニングとかに恣意性があってまずいと思うからだ。書いているうちにこれは実際の細胞間の情報のやり取りのコーディングに近いのでは無いかと考えるようになった。
細胞が運ぶ情報量の計算法について(PDF)
あとは、繰り返し数Nとして1/Nの誤差を取り除く公式も出来ている。哺乳動物の実験結果はＮをそれほど大きく出来ないからこれは必要なんだけど、それについては、またそのうち。
▼ 「数理科学」３月号「最新 脳の数学理論」が面白かった。とくに「勾配学習の幾何学」と「脳神経回路の数理と代数幾何」がちょうど今の興味に合っていてよかった。
前は専門外の記事に対しては「数理科学って難しくてわからん」と思っていたんだけど、最近は気楽な読み物として楽しめるようになった。これは年の功だろうなあ。
▼ 「ローマ人の物語」を読んでいるんだけど、一巻あたり２ケ所２、３行くらい、ローマの周辺国への扱いを引き合いに出して、日本の周辺国への扱いを皮肉っているらしき記述にであう。凄く良い本なのだけど、私にとってはこれだけで好意的印象がかなり損なわれる。
で、「人のふり見て我がふり直せ」という言葉がよぎるのだ。この日記にも人の悪口を行ったり皮肉ったりするようなことは、まえまえからしないようにはしていたが、一層気をつけようと思った。
▼ 「痴呆」を「認知症」と言い換えたことに対して、「どうせすぐに新しい言葉にも悪いイメージがつくだろう」と思っていた。
で、今日「認知科学」という文字を見た瞬間に認知科学よりも先に痴呆の事の方が頭をよぎった。頭の中の変化は、予想よりもずっと速かった。
▼ 心よりも物質の方が複雑なものであることは疑いの余地がない。二元論を取らない限りは。脳は物質に過ぎないのだから。
すげえ。スクリーンとか煙りとか何も要らないんですよ。
「レーザー光線を１点に照射し、焦点となった場所の空気分子を急加熱して青白く発光させる。」そうです。
すげー。多分、パワーを集中して空気をプラズマ化させているんですよ。
「改良が進めば、１０メートル四方以上の平面画像や立体像を、大空に描くこともでき、実用の可能性が広がる。 」
すげー。どんだけパワーが要るのよ。
普段は、平和に大空に絵をかいて、いざとなったらビーム兵器に早変わりとか。すげー想像をしてしまったではありませんか。
「2005/4/1/14:54 読売新聞」
四月一日づけだけどウソじゃないよね？
▼ だれかきちんとweb上の情報の全保存をやるべきだ。 本来なら国会図書館とかがやるべきことだけど期待薄。 archive.orgとかあるけれど、クロールの頻度が低すぎると思う。 Googleあたりが密かに保存していてくれると嬉しいのだけど。
▼ バインディング問題と同期（シンクロニゼーション）とクロック
私の意見を一言で。 バインディングはクロックに対する同期で解決されている。 クロックは多分β波。 いままでの見聞の範囲では同じ意見の人はまだ見た事がない。 たいていはダイナミクスの結果としての自発的同期を考えている。
