役に立たない日記

▼ 上の文章の中では、なるべく中立になるように注意して書いたから言い切って無いけど、個人的には脳は計算的にかなり浅いと思っている。

そして、計算的に有限の深さしか持っていないのは不都合だからそこに逐次実行機能を付け加えてチューリング完全になるように進化した。この逐次実行機能が我々の意識だと考えている。

脳と知能について論じる時、有限の計算的深さしか持たないけど巨大な計算力をもつ部分と、限られた並列性しか持たないが無限の深さを実行可能な逐次部分とを区別して論じなくてはならない。それが出来ていない事が、脳と知能についての議論が大抵迷走し、実現が不可能なような気がする理由なのだ。例えば誰かが、脳の働きの一部にズバッと単純化した力強いモデルを提示すると必ず、それで説明できない例を持ってきてモデルを無効化しようとする議論をする人がいるのだけど、そう言うのは僕から見ると大抵、前者の人は前者の機構を論じているのに後者の人は後者の機構の機能を持ち出してきて「不可能だ！」と叫んでいるのだ。

10月16日　

▼ Levin et al.の"colorization"を確率論的モデルとして再解釈する

まずはこのページを見てみよう。非常に印象的なデモだ。論文を読まなくともイメージを見るだけで、良く分かる。人間がわずかな指示を加えるだけで白黒画像にみごとに彩色が出来ている。

Colorization Using Optimization
Anat Levin, Dani Lischinski, Yair Weiss

これの原理は簡単に言うと、明度の変化の少ないところは色の変化も少なく明度の変化の大きなところは（多分物体の境界なんだろうけど）色の変化が大きいと言う事を利用して各ピクセルの色を推定するということだ。

この研究はむしろ昔の映画を彩色して放送するとかの実用を目的にしているのだけれども、これは脳の低次視覚野のモデルの観点からも興味深いと思う。

第一に、この手法は確率論を考えてはいないんだけど、確率論のモデルとして再解釈できるということ。我々の視野は二次元の場であるが、その上での確率論的モデルの一例となるだろうから。

第二に、上のページなどをみると分かると思うけど、小さな情報を与えてしまえば見事に物体の境界線を判別している。つまり物体のセグメンテーションのモデルとなりうるのではないかと言う事。

考えるに、モデルの異様な単純さの割にうまく行っている理由は、まさにこれが確率論的モデルだからだと思う。一つのピクセルの色は隣り合うピクセルの値を折衷してきめる。隣が決まって無ければ隣も同様にして自分の値をきめる。確率論的モデルはこのように一つのことが複数の証拠から柔らかく拘束されて決定されるような性質を一般に持っている。そのために、一つ一つの証拠が弱くてもノイズが大きくとも良い決定ができる。この仕事はまされにそのような確率論的モデルの良さの例になっていると思うから興味深いと考えている。

というわけで確率論的モデルとして再解釈してみよう。

まず彼らの論文を読むと、色をYUVに分解して（って書いてあるけどmatlabのrgb2ntscはYIQだよ）そのUを以下のような関数を最小化するように決めている。人間がマークした点は拘束条件にしてね。

J(U) = Σ_r(U(r) -Σ_s w_rsU(s))²

ここでrは全座標、sはrのnearest neightbourとsecond nearest neightbourを走る。w_rsがポイントでpixel rとpixel sとの間の明度の差が大きければこれが小さくなってU(r)が自由になるようになっている。具体的には

w_rs ∝ exp(-(Y(r)-Y(s))²) /2σ_r²

としている。Σ_s w_rs = 1 for all rね。ふむふむ。って、違うぞ。実際のコードをみると、

U(r) = Σ_s w_rsU(s)

という線形方程式を解いているだけだけど、上のJ(U)を変分してもこの方程式にはなりませんがな。まずいなあ、今度から他の論文の数式も信じられなくなりそう。（２９日追記：羊堂さんの指摘どおり、この方程式を満たすなら、J(U)はゼロなので最小化されます。J=Σ(Wx)²を変分したら方程式はW^TWx=0になって書き下すと凄い数の項になるけど結局Wx=0の解ってことか。）

J(U) = Σ_r,s w_rs(U(r) -U(s))²

あたりが妥当かな。これを変分しても正確には上の方程式にはならないけど。上の方程式は隣り合う二つのピクセル間でaがbに影響を与えてもbはaに影響を与えないと言う事があり得るから、何かの関数の最低値にはならないと思うな。多分。

さて、J(U)の最小化はexp(-J(U))の最小化と同じ事だね。これを確率とみなすと、つまりこのモデルは隣接するピクセルのUは exp(-w_rs(U(r) -U(s))²) という確率分布に従うという確率論的最適化問題であるということだ。

さて、おそらく彼らはJ(U)の形、特にw_rsの形を適当にうまい結果が出るように選んだのだろう。それは要するに試行錯誤と経験と勘である。もし、確率分布のモデルを本当の確率分布で置き換えたらよりパフォーマンスがアップすることだろう。このようにして、経験に頼るartからtheoryに基づいた改良に移る事ができる。

▼ で、すこし自分でいじってみた。

少々確率分布について検討してみる。彼らが仮定していた確率分布は exp( -(ΔU)² w_rs) である。これを大雑把に言えばΔUが w_rs^-1/2 = exp(-(Y(r)-Y(s))² /4σ_r²) よりも小さいというモデルである。

これは現実とあんまり合って無い。実際に自分でとった写真をcipherで解析してみるとΔUがΔYよりも小さいというモデルが妥当なのではないかと思う。それにexpのなかにexpが入っているのはなにか不吉なかおりがする。 lattice QCDくらいでしか見た事ないぞ。

で、確率分布をリアリスティックにすれば結果が改善するだろうという当然の期待に基づき、

w_rs^-1 = 0.00001+(Y(r)-Y(s))²

にしてみる。結果が改善するだろうと思ったが、恐ろしい程結果が変わらない。まあ、確率分布のモデルが多少悪くてもデータ点が多いと良い結果に収束すると言うのも確率論のいいところだしね。とりあえず、モデルが単純になった分だけでも良し。

10月14日　

▼ Multiple object response normalization in monkey inferotemporal cortex, JNS 25 (2005) 8150

がおもしろかった。簡単に言うと見えている物体が複数ある時は下側頭葉(IT)の細胞の活動は、それぞれの物体を単独で見せた時の平均値だということだ。確かに２個見せた時にはきれいに半分になっている。

もしITの細胞が複雑なfeatureに反応しているのだとしたら、二つの物体が共通のfeatureを含んでいるとかで無い限り、むしろ反応はそのままなはずで変だと。

supressionを起こしているのだという意見もあるけど、 supressionみたいな非線形な機構の作用の結果が linearな関係になるというのも何か変だ。

で、いつもの仮説を使えばこれは説明できますよ。
バインディング問題と同期とクロック
 バインディングとリングバッファ（＝ワーキングメモリ）

高次領野ではですね、複数の無視されていない物体があるとき、 βサイクル※に同期して同時に発火するのが同一の物体に属するfeatureを表す細胞なんですよ。で、物体が複数あるとサイクルに同期して
A-> B -> C -> A ->B
という具合にぐるぐる回るんですな。一つしか無い時は
A->A->
と一つだけでぐるぐる回ってる。
だから物体の数に応じてちょうどlinearに分割されるわけ。

まわせる数には限界があって、それがワーキングメモリ長。

以上、全くの私的な仮説ね。

※βじゃなくてαかもしれないけど。

※件の論文は、なぜ複数物体が共存してもその情報表現に混乱を来さないのかという問題意識なんだけど、それもこの仮説で説明できます。

10月12日　

▼ 哺乳動物のトランスクリプトームの総合的解析による「RNA新大陸」の発見

ゲノムの70％に相当する広大な領域が、一旦はRNAに読まれていることがわかりました。さらにこれらのTUの半分以上が、タンパク質をコードしていないRNA

最近話題のこのニュースがどう言う重要性をもっているのか、去年書いておきました。

要約すると：このようなRNA断片がDNAやRNAと相互作用するとすると、核の中で任意の論理演算と記憶を行う事ができる。望むのならばチューリング完全なところまで。このことはタンパク質やその他の物質レベルでの変化がなくとも、状況に対する細胞の挙動を変える事での進化があり得る事を示す。細胞の挙動が変わると何が変わるか、まず形態形成を変える事ができる。細胞の分化や遺伝子発現の条件を変える事ができる。

このことは脳において、より重要である。おそらく知能の高いほ乳動物とそうで無いほ乳動物の脳の違いは、構成物質の違いでは無く、形態の一種である回路の結線と細胞の反応の違いに帰結できるだろうから、知能を発生させるアルゴリズムは全てこれらの非コード領域にあるという事さえ原理的には可能である。

まあ、全てでは無いだろうけど、脳にとって非常に重要と言う事ね。

10月10日　

▼ intrinsic signalのoptical imagingでは表面の血管が最大のノイズ要因である。今後以下のように対策するとよいと思う。

１、いまは、血管からフォーカスをずらして血管を見えなくしようとしているが、返ってコンタミネートされたピクセルを増やしているだけである。むしろ血管にフォーカスをあわせて血管をマスクによって除くべき。血管は明度の時間変動が極端に大きな領域として容易に検出できる。

２、第一のレンズの後に光路を二つ分けて、片方を表面にもう片方を0.5mm程度の深度にフォーカスをあわせればCTと同じ原理で表面だけを取り除く事ができる。面を増やせば層ごとの活動を調べる事もできる。このとき散乱の少ない長めの波長の光が良いだろう。

▼ 意識(consiciousness)の議論では、かならず意識を複数のレベルにわけて最初に"arousal"（覚醒）をもってくる。意識の問題を論じる時には誰もそんなところに不思議を感じているわけでは無いのだから、毎度「不要」と思うのだが、必ずこの形式が踏襲されるのは、そうしないと臨床医学の「意識」の定義を持ち出してきて議論を混乱させる人が毎度いるからだろう。

▼ 川崎市の路上にオオサンショウウオ (asahi.com)

世界最大の両生類のオオサンショウウオが８日午前、川崎市高津区の住宅街の路上で見つかった。通行人が見つけて１１０番通報し、高津署員が保護した。

どう考えても、オオサンショウウオは警察の職務の範囲外だと思う。そういうことを警察に通報するのはどういう一体どういう了見なのだろう？でも、去年も同じくオオサンショウウオを警察に通報した奴がいたと思う。どういう考えでそういうことをするのか？とりあえず、ある種の人にとっては「非日常な出来事はみな警察の仕事」なんだろうと理解している。

１２日追記：「落とし物」という考えなのかも。なら理解は出来るけど、やっぱりなんか理不尽なものを感じる。

10月9日　

▼ パリティ１０月号のグラスマンの伝記が面白かった。グラスマンの伝記は読んだ事が無かったし、フェルミオン場の量子論に出てくる変わった代数の発明者ていどの理解しか無かったけど、これは凄い天才だわ。

▼ C++のSTLのコンテナクラスは直接オブジェクトを入れると、それごとにコードを展開するけど、ポインタを入れると一つのコードで済ませるらしい。じつにもっともだと思うものの、この感覚はC言語を、とくにポインタをよく理解していないと分からないと思う。

他の事でも、C++っていうのはどう言うコードに展開されるのか分からないと恐くて使えない。本当にC++はCの上級者だけが使える言語だなと思う。

10月6日　

▼ だれが言っていたのかは忘れたが、何にでも通用する寿命の見積もりというのがある。目の前にある物体や制度などの年令がTであるとき、その残り寿命は大雑把にはやはりTであるという話だ。その根拠は、特に現在が特別な時であると考える理由が無い限りは今は「それ」の存続期間のうちのランダムな時点にあると考えることができるからである、という事だった。

いや、「何にでも使える？そんなバカな」っていうのが個人的な可笑しさのツボなんだけど。

大雑把にTであるとしていいけど、その確率分布はどうなっているのか考えてみた。結果は p = 1/(1+t/T)^2 だった。なるほど、結構気分的な見積もりに合っているような気がする。 t=0でp=0で無い事は意外とすぐに消える可能性があることを意味しているし、そのあとexpに近い関数で減衰するのもそれっぽいし、最後にべきのlong tailをもっているのもそれっぽい。

期待値が無限大なのはちょっと意外。でもそう言う物なのかもしれない。