Toy box full of toys

chalkless:赤池情報量規準 (AIC)の人かぁ。 [http://twitter.com/chalkless/statuses/3141904322]
bonohu:情報・システム研究機構統計数理研究所名誉教授・元所長赤池弘次氏（享年８１歳）におかれては、８月４日（火）午前６時頃にご逝去されましたのでお知らせいたします [http://twitter.com/bonohu/statuses/3141940999]
random_oracle: [http://twitter.com/random_oracle/statuses/3141963875]
chunjp:赤池先生！？ [要出典] [http://twitter.com/chunjp/statuses/3142014064]
sesejun:.@ bonohu 残念です。本当に。亡くなられても、AICは使われ続ける。研究者冥利に尽きる業績を残された先生です。 [http://twitter.com/sesejun/statuses/3142095483]
dritoshi:え、赤池先生!!! [http://twitter.com/dritoshi/statuses/3142569480]
Cryolite:え？っていうか赤池先生マジで？ [http://twitter.com/Cryolite/statuses/3142585365]
hiroara:赤池先生・・・・合掌。 *Tw* [http://twitter.com/hiroara/statuses/3142835192]
shigepong:赤池先生の京都賞講演を聴いて、僕はこんな研究者になりたいと思ったのでした。心の師匠のひとりです。合掌... [http://twitter.com/shigepong/statuses/3142855468]
harapon:AICの赤池先生が亡くなったってマジか…． *Tw* [http://twitter.com/harapon/statuses/3142912144]
leeswijzer:【訃報】統計数理研究所・元所長の赤池弘次さんが昨日逝去されました．享年八十一歳．「お別れの会を後日開催する予定であり、詳細は追ってお知らせいたします」と統数研からのアナウンス． [http://twitter.com/leeswijzer/statuses/3142971702]
hito1979:赤池先生の話題でtwitterが持ちきり。AICを使った自分も合掌。 [http://twitter.com/hito1979/statuses/3143048567]
todesking:ちょ、赤池先生死んだのか…… [http://twitter.com/todesking/statuses/3143438985]
sett4:えー。AICの赤池先生が、、、 RT @ todesking : ちょ、赤池先生死んだのか…… [http://twitter.com/sett4/statuses/3143548777]
toddler2009:赤池先生が亡くなったことが一般にどれだけインパクトを持ちえるかという社会実験ですね [http://twitter.com/toddler2009/statuses/3144470614]
yotaro:なんかfollowingの間で妙にAICが流行ってると思ったら，そういうことか．．．．AICは超昔に提案されたものなのに，今も完全には達成できてないある種のバランスを定式化に加えられていてすごいなー [http://twitter.com/yotaro/statuses/3144751078]
nemesis__divina:そいや、赤池さん亡くなったんだっけか？　RT @ todesking : よんでる http://bit.ly/e2IXA [http://twitter.com/nemesis__divina/statuses/3145128288]
nambon:数理統計学者の赤池弘次さんが亡くなった…。ご冥福をお祈りします。今、赤池情報量規準について勉強しています。Wikipedia:赤池情報規準 http://bit.ly/Uthel [http://twitter.com/nambon/statuses/3145199072]
nambon:毎日新聞『訃報：赤池弘次さん81歳＝統計数理研究所名誉教授』 http://bit.ly/tFq2N [http://twitter.com/nambon/statuses/3145362593]
mhr:えええ赤池先生なくなったの？ [http://twitter.com/mhr/statuses/3145420053]
tr_mrym:@ satomilogy 赤池さん亡くなったんだ・・・ [http://twitter.com/tr_mrym/statuses/3145427545]
combinational:AIC と聞いて「PLSAによる確率的概念空間の評価」 http://ci.nii.ac.jp/naid/11... を真っ先に思い出しました．手軽だけど強力なテクニックだと思います [http://twitter.com/combinational/statuses/3145712169]
harapon:そんなことはともかく、今日は赤池先生にお悔やみを申し上げたい。後の世代からみたとき、「オレでも思いつくよ」って一見思わせる仕事って大抵すごい仕事なんだよなあ。 [http://twitter.com/harapon/statuses/3145743231]
tagchan:AICで有名な赤池さんが亡くなったのか・・・ [http://twitter.com/tagchan/statuses/3145882792]
hato0816:-2かけてるのが萌えるAIC，対数尤度とｴﾝﾄﾛﾋﾟｰを対応づけて，Boltzmanをよく理解していたのも赤池先生．足跡を眺めても眺めても眺めてもｵﾚは思いつかないけれども，，ご冥福をお祈りします． *Tw* [http://twitter.com/hato0816/statuses/3145982619]
afromanmusic:http://bit.ly/RxYPn : hato0816: -2かけてるのが萌えるAIC，対数尤度とｴﾝﾄﾛﾋﾟｰを対応づけて，Boltzmanをよく理解していたのも赤池先生．足跡を眺めても眺めても眺めてもｵﾚは思いつかないけれども，，ご冥福をお祈りします． *Tw* http://bit.ly/HwaxB [http://twitter.com/afromanmusic/statuses/3145982904]
ak1984:ちょうど今編集の仕事をしてる本（統計的機械学習）でAICが出てきた。。 RT @ hrjn なんと RT @ ysks AIC(赤池情報量規準)の赤池先生がお亡くなりになられたらしい… http://twitter.com/bonohu/s... [http://twitter.com/ak1984/statuses/3146575754]
Cryolite:やはり AIC が紹介されるのか． RT 毎日に赤池先生の訃報がでましたね http://mainichi.jp/select/p... (via @ dritoshi ) [http://twitter.com/Cryolite/statuses/3146623873]
satzz:院にくるまで知らなかったけど教科書に載ってる日本人ってことで尊敬してました…RT @ tagchan : AICで有名な赤池さんが亡くなったのか・・・ [http://twitter.com/satzz/statuses/3146774464]
popeetheclown:AIC 赤池情報量基準の生みの親である赤池氏が死去．ご冥福をお祈りします．訃報：赤池弘次さん８１歳＝統計数理研究所名誉教授 - 毎日ｊｐ(毎日新聞) http://bit.ly/tFq2N [http://twitter.com/popeetheclown/statuses/3146808534]
ogishima:そうかー、赤池先生亡くなられてしまったのか！ [http://twitter.com/ogishima/statuses/3147036134]
heigazen:赤池弘次先生がお亡くなりになりました．合掌 [http://twitter.com/heigazen/statuses/3148285409]
dritoshi:赤池先生追悼ポストをまとめた http://dritoshi.tumblr.com/... [http://twitter.com/dritoshi/statuses/3151658329]

赤池先生追悼ポストまとめ

Thu, 06 Aug 2009 04:43:00 +0900

背景: @bonohu のポストで赤池先生の訃報を知る。

dritoshi:え、赤池先生!!! [http://twitter.com/dritoshi/status/3142569480]
dritoshi:AICと赤池先生をbuzzらせる会発足 [http://twitter.com/dritoshi/status/3142586000]
dritoshi:たしかこれが赤池先生によるAICの最初の論文。かつてAICは An information criterion だった http://www.garfield.library... [http://twitter.com/dritoshi/status/3142653202]

追悼と復習を兼ねてAICを解説し出す俺。誰も頼んでないけどw

dritoshi:AIC = -2 ln (Maximum likelihood) + 2 (parameter) 少ないパラメータで最も尤もらしいモデルが良いモデル [http://twitter.com/dritoshi/status/3142717926]
dritoshi:ごめん、正確に言うと、さっきの論文は1971の最初の論文について言及した記事でした>< [http://twitter.com/dritoshi/status/3142738085]
dritoshi:モデルの良さって真の分布とモデルの距離で表現できるので、KL情報量で測れるよね。KL情報量が小さくなればいい。これは平均対数尤度が最大と同じこと。だから良いモデルは最大平均対数尤度を持つモデルと言える。 [http://twitter.com/dritoshi/status/3142916781]
dritoshi:じゃあ、モデル間を比較するときに最大対数尤度を比較すればいいのか、っていうとそう単純じゃない。平均対数尤度と対数尤度の間にはバイアスがあってそれがパラメータの次元でことなる。これを補正したいよねー、ってのがAIC [http://twitter.com/dritoshi/status/3142953873]
dritoshi:うーん説明下手だな、俺。平均対数尤度から対数尤度に至るところがすっとてんでるからか [http://twitter.com/dritoshi/status/3143058213]
dritoshi:平均対数尤度で評価したいけど、真の分布なんてわからない、てか、知るの無理だし、もっと言うと無いよ、そんなの。だから実際のデータ(経験分布)からそれっぽい推定量を計算するぜ。それが対数尤度。良いモデルとは対数尤度が最大と言えるよ。(じゃあ、モデル間を比較...につづく) [http://twitter.com/dritoshi/status/3143106111]
dritoshi:あ、どこにもAICや赤池先生の名前がはいっていない。buzzりようがない>< [http://twitter.com/dritoshi/status/3143122474]
dritoshi:AIC蕩れ [http://twitter.com/dritoshi/status/3143159225]
dritoshi:ではいかにしてバイアスを導出するか。平均対数尤度と対数尤度の差の期待値を考えればいい。これを、尤度方程式の解とか最尤推定量の確率収束とかなんとかを使ってがんばって解くと、TIC (Takeuchi Information Criterion)のバイアス項が出てくる。 [http://twitter.com/dritoshi/status/3143319731]
dritoshi:ここで真の分布が想定したモデルの中に含まれていると仮定すれば、TICのバイアス項は自由パラメータ数になってAICになる。この仮定のおかげでバイアス補正をする項をいちいち導出しなくてもよくなったので便利でらくちんなのだー、やたー。赤池先生蕩れー、という流れ [http://twitter.com/dritoshi/status/3143369911]
dritoshi:以上、数式を使わずに説明するAICでした [http://twitter.com/dritoshi/status/3143411854]
dritoshi:@ crmind すみません、わかるひとの復習用ですね>< [http://twitter.com/dritoshi/status/3143493546]
dritoshi:Rで回帰分析のAICを求めるワンライナー R --vanilla -q -e "AIC(lm(log(Volume) ~ log(Girth), data = trees))" [http://twitter.com/dritoshi/status/3143598333]

ここからよくしらないBICについて調べはじめた。

dritoshi:BICとかよく知らない... [http://twitter.com/dritoshi/status/3143820559]
dritoshi:事後確率最大化するだろうけどなんであんな形のバイアス補正項なのか知らない [http://twitter.com/dritoshi/status/3144002544]
dritoshi:えっと、モデルの良さをデータに関するモデルの周辺分布で測る。モデル間の良さを事後確率最大なものを採用する。ここまではいい。で? [http://twitter.com/dritoshi/status/3144112914]
dritoshi:あー、周辺分布は積分なっているからめんどい。簡単な形に直しておけば、それぞれの問題ごとに積分しなくてもよくない? そこでラプラス近似ってのを使って簡単にしたのが BIC か。PRML 4.4 あたりに書いてた。 [http://twitter.com/dritoshi/status/3144217875]
dritoshi:あと情報量規準6.1.3あたりか [http://twitter.com/dritoshi/status/3144249733]
dritoshi:なるほど、確率分布をガウス分布で近似するのがラプラス近似なのか [http://twitter.com/dritoshi/status/3144358788]
dritoshi:うーん、ってことは正規性にしばられるし、データ数が少ないときはうまくいかなさそう。変分ベイズでよくね? [http://twitter.com/dritoshi/status/3144422988]
dritoshi:BICも赤池先生の仕事かー。BICとEMアルゴリズムは同い年。 [http://twitter.com/dritoshi/status/3144781939]

*あとで出てくるけどBICは赤池先生の仕事ではなかった。ガセですまん。

このあとは多少ネタポスが増える

dritoshi:まあいろいろ書いてきましたが、AICって神アニメ喰霊 -零- を作った会社のことなんですよ、ほんとは [http://twitter.com/dritoshi/status/3144979261]
dritoshi:GICはともかく、xICシリーズには、CIC, PIC, EIC とかもあるのか、なんだそれ? [http://twitter.com/dritoshi/status/3145191000]
dritoshi:AIC, AICc, TIC, BIC, SIC, GIC, CIC, EIC, PIC, MDL, HQ 萌え擬人化できるくらいあるなw [http://twitter.com/dritoshi/status/3145247411]
dritoshi:毎日に赤池先生の訃報がでましたね http://mainichi.jp/select/p... [http://twitter.com/dritoshi/status/3145322765]
dritoshi:以上、AICまわりのポストで赤池先生への哀悼の意を表しました。お悔やみ申し上げます。 [http://twitter.com/dritoshi/status/3145624751]
dritoshi:2つのモデルが一致してたらゼロ。離れていれば大きくなる。KLDそんな統計量。距離っぽいイメージ (正確には対称性がないので距離じゃないけど) [http://twitter.com/dritoshi/status/3145708867]
dritoshi:狼と香辛料が実写化されるとする。真のホロともっとも近い人(KLDが小さい)をオーディションで選びたい。でも真のホロはいないよね、小説やアニメから経験されたホロとKLDが近いひとを選ぶよ。KLDの最小化は平均対数尤度が大きい人だ、みないなトンデモアナロジーを思いついたけど自重する [http://twitter.com/dritoshi/status/3145801669]

AICとMDLとBICについてちょっとだけ。

dritoshi:ごめんなさいBICは赤池先生じゃなかったです>< RT @ ma_ko : @ dritoshi @ todesking こんなのあったよ、BICそのものは赤池先生じゃないっぽい？「AICとMDLとBIC」赤池弘次 http://bit.ly/o0aT [http://twitter.com/dritoshi/status/3146648478]
dritoshi:むしろ恣意的な事前分布に対応するのでBICはいけてない、と考えていたようですね [http://twitter.com/dritoshi/status/3146664485]
dritoshi:AIC v.s. BICが論争になっていたのか... [http://twitter.com/dritoshi/status/3146699785]
dritoshi:BICがつかめてきたので今度はMDLをやっつけたい [http://twitter.com/dritoshi/status/3146783410]
dritoshi:赤池「本稿では、MDLあるいはBICが、AICを越える根拠を持つと考えるのは迷信に過ぎないことを示し、AICの本来の意味を再確認することにしたい。」 http://bit.ly/o0aT [http://twitter.com/dritoshi/status/3146864092]
dritoshi:@ ogishima 系統樹の樹形選択ではモデル選択が大活躍ですもんね。結局結論はどんな感じでしたか? [http://twitter.com/dritoshi/status/3147078073]
dritoshi:@ ogishima ほう。AICは真の次数を得るのが目的でなく、良い次数を得るという発想に立っているので少し複雑めなモデルを選びやすい、というのを聞いたことがあります。そういう意味では樹形選択はBICやMDLがいいのかもしれません。MDLは理解していないので言ってますが [http://twitter.com/dritoshi/status/3147257178]
dritoshi:まあ、そのあたりを議論できるほどちゃんと理解しきってないので勉強したい [http://twitter.com/dritoshi/status/3147269606]

Linux FoundationがLinuxブランドのクレジットカードを発行, もちろんTuxのイラスト入り

Wed, 29 Jul 2009 20:53:05 +0900

Linux FoundationがLinuxブランドのクレジットカードを発行, もちろんTuxのイラスト入り

ESS(Emacs Speaks Statistics)のチートシート作った

Mon, 27 Jul 2009 06:49:25 +0900

ESS(Emacs Speaks Statistics)のチートシート作った

Force-Directed Edge Bundling for Graph Visualization -...

Sun, 26 Jul 2009 02:29:34 +0900

Force-Directed Edge Bundling for Graph Visualization - information aesthetics

Dreamy (via 6261)

Sun, 26 Jul 2009 02:11:27 +0900

*Dreamy (via *6261)

LiFE (via 6261)

Sun, 26 Jul 2009 02:10:57 +0900

*LiFE (via *6261)

(via harpy)

Sun, 26 Jul 2009 02:07:26 +0900

(via harpy)

Sun, 26 Jul 2009 02:06:20 +0900

(via harpy)

build sandcastles… (via i.Anton)

Sun, 26 Jul 2009 02:05:53 +0900

build sandcastles… (via i.Anton)

â¥ (via i.Anton)

Sun, 26 Jul 2009 02:05:27 +0900

â¥ (via i.Anton)

チョコレートは一個目で止める - 将来が不安

Sun, 26 Jul 2009 01:26:50 +0900

チョコレートは一個目で止める - 将来が不安

ポジティブにネガティブ - 将来が不安

Sun, 26 Jul 2009 01:08:18 +0900

ポジティブにネガティブ - 将来が不安

Toy box full of toys

øpıɐʞıu ıɥsøʇı (dritoshi) on Twitter

img.ly photo sharing service for twitter

待ち受け画像 - さまざまなめりっと - はてなグループ::ついったー部

via yenpress.us

via yenpress.us

世界最古、本物の「コンピューター・バグ」の写真 | WIRED VISION

DSC00032.JPG (via yukio.andoh)

赤池先生ご逝去に関するtwitterでの反応まとめ

赤池先生追悼ポストまとめ

Linux FoundationがLinuxブランドのクレジットカードを発行, もちろんTuxのイラスト入り

ESS(Emacs Speaks Statistics)のチートシート作った

Force-Directed Edge Bundling for Graph Visualization -...

*Dreamy (via *6261)

*LiFE (via *6261)

(via harpy)

(via harpy)

build sandcastles… (via i.Anton)

â¥ (via i.Anton)

チョコレートは一個目で止める - 将来が不安

ポジティブにネガティブ - 将来が不安

Dreamy (via 6261)

LiFE (via 6261)

â¥ (via i.Anton)