何でもありの備忘録
by takahiro_komiya
S M T W T F S
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31
カテゴリ
以前の記事
2017年 05月
2017年 04月
2017年 03月
2017年 02月
2017年 01月
2016年 12月
2016年 11月
2016年 10月
2016年 09月
2016年 08月
2016年 07月
2016年 06月
2016年 05月
2016年 04月
2016年 03月
2016年 02月
2016年 01月
2015年 12月
2015年 11月
2015年 10月
2015年 09月
2015年 08月
2015年 07月
2015年 06月
2015年 05月
2015年 04月
2015年 03月
2015年 02月
2015年 01月
2014年 12月
2014年 11月
2014年 10月
2014年 09月
2014年 08月
2014年 07月
2014年 06月
2014年 05月
2014年 04月
2014年 03月
2014年 02月
2014年 01月
2013年 12月
2013年 11月
2013年 10月
2013年 09月
2013年 08月
2013年 07月
2013年 06月
2013年 05月
2013年 04月
2013年 03月
2013年 02月
2013年 01月
2012年 12月
2012年 11月
2012年 10月
2012年 09月
2012年 08月
2012年 07月
2012年 06月
2012年 05月
2012年 04月
2012年 03月
2012年 02月
2012年 01月
2011年 12月
2011年 11月
2011年 10月
2011年 09月
2011年 08月
2011年 07月
2011年 06月
2011年 05月
2011年 04月
2011年 03月
2011年 02月
2011年 01月
2010年 12月
2010年 11月
2010年 10月
2010年 09月
2010年 08月
2010年 07月
2010年 06月
2010年 05月
2010年 04月
2010年 03月
2010年 02月
2010年 01月
2009年 12月
2009年 11月
2009年 10月
2009年 09月
2009年 08月
2009年 07月
2009年 06月
2009年 05月
2009年 04月
2009年 03月
2009年 02月
2009年 01月
2008年 12月
2008年 11月
2008年 10月
2008年 09月
2008年 08月
2008年 07月
2008年 06月
2008年 05月
2008年 04月
2008年 03月
2008年 02月
2008年 01月
2007年 12月
2007年 11月
2007年 10月
2007年 09月
2007年 08月
2007年 07月
2007年 06月
2007年 05月
2007年 04月
2007年 03月
2007年 02月
2007年 01月
2006年 12月
2006年 11月
2006年 10月
2006年 09月
2006年 08月
2006年 07月
2006年 06月
2006年 05月
2006年 04月
2006年 03月
2006年 02月
2006年 01月
2005年 12月
2005年 11月
2005年 10月
2005年 09月
2005年 08月
2005年 07月
2005年 06月
2005年 05月
2005年 04月
2005年 02月
2005年 01月
2004年 12月
2004年 11月
<   2012年 01月 ( 6 )   > この月の画像一覧
週末ToDo
忘れちゃうのでメモ。

VMware Fusion , Bridge Network 構成でなんで Domain に参加できないのか調べる。

#同じ仮想マシンが VMware player/workstation だと普通につながるのに、なんでFusionだとダメなんだろう。
by Takahiro_Komiya | 2012-01-27 09:53 | その他 technology
なんてこった、Qlogic が InfiniBand の assets を Intel に売却
#タイトル間違えちゃったので訂正

こんなニュースが!

Windows8 でも RDMA のってくるからなぁ。仕事上はちょっと困るニュース。Mellanox は大変だけろうけど、IB業界は活気づくかも。
by Takahiro_Komiya | 2012-01-24 09:35 | その他 technology
Brocade1860/1000 latency
RAMcloud の資料の中にこんなものがある。

どのページも興味深いが、4ページ5ページは特に興味深い。

我々のアダプタだと、NICの部分は RTT で 31us (実測)だ。つまり、実際は 15.5us (BR1860)。この数値はアプリケーションで見ているので、実際には kernel の部分(driver/context switch)も含んでいる。メーカーはわからないけど4ページだと、47usなので、結構大きく違う。

#2012/1/24
#ちなみにAnalyzerからの ping に対するレスポンスは13us以下

スイッチはVDX6720-24 だと、port-to-port で 600ns だから、いくら物理線長が長くても 1us 程度だろう。

ふむふむ。うちの製品を使って欲しいものである。
by Takahiro_Komiya | 2012-01-20 13:51 | Ethernet
Stanford RAMcloud project
最近のIAサーバはテラバイトクラスのメモリを搭載可能だ。Typical な DB サイズが 10TB くらいなら、メインメモリでDBやっちゃうのは至極当然。パーティショニングや階層化、それに可用性向上などは課題があるものの、in-memory DB がメインの時代が来た。

Stanford でも RAMcloud プロジェクトが発足している。

RAMcloud project wiki
by Takahiro_Komiya | 2012-01-20 13:21 | その他 technology
ビッグデータだけが全てではない
流行りというものであるし、ソレに乗っている自分でもあるのではあるが、「ビッグデータ」というキーワードだけが今のシステムの問題ではない。私がファブリックについて話をする時にわざわざ「リアルタイム処理」と「ビッグデータ」を別々に話をしているのには意味がある。ビッグデータをリアルタイム処理しましょうということではない(そうであってもいいけど、それは単なる一面的な見方)。

よく使われるビッグデータのコンテクストは、「膨大なデータから価値のある何かを発見しましょう。だけど量が膨大だから処理が大変なの!」という流れ。そういうレベルで言えば13年前の ALADIN2 だって物理40TBを超える規模があったし、今時 Petabyte 規模でもそんなに不思議ではない。技術的にはカラム指向DBだが、ETLなどに工夫が見られる。高速化するにはボトルネックである回転体を半導体に置き換えるのが一番早い。そうすれば in-memory DB 技術(パーティショニングなどの設計がもっと大事だけど)と同時に利用することで、100倍高速化するのも夢ではない。

さて、これだけで課題は解決しないということはどういうことだ??というと、下記のような例があるからだ。

株価情報において、直近5分間の すべての株価の平均値を常に提供し続けるという簡単なサービスを作るとしよう。さて、RDBMSで実装するとどうなるか?全ての株価情報はRDBMSに入っている。「直近5分の価格の平均」というカラム指向情報を「すべての銘柄」でリアルタイム計算するにはどんな select 文をかいたらよいか?分かる人はわかる。これがストリーム処理のアダプティブクエリだ。

なんでこんなことをいうのかというと、意外と認識されていないからだ。1000台のサーバを管理していたとしよう。各サーバのエージェントがイベント情報をイベントサーバに上げてくる。その中に障害情報が入っていたとする。もし、バッチ処理で障害を抜き出していると、一日一回のレポート生成用バッチが動くまで障害がわからない。実際はそれでは困るということで、非同期メッセージング(SNMP Trap のこと)で通知することでわかるというわけだ。Verdasysのようなセキュリティ製品でも Event DB からフォレンジック DB に transform するのは多くて一日数回(ソレ以上してもバッチが終わらない)だ。だから緊急な Event については Agent がルールに基づきユーザに通知する。

こんな感じでバッチの話(狭い意味のビッグデータ)とリアルタイム処理(学術的にはストリームコンピューティング)とは別なものだ。どっちも注目しなければならない技術だ。


#どんなに遅くて困ってもファブリックがあれば大丈夫 (もちろん Original は広瀬香美)
by Takahiro_Komiya | 2012-01-13 01:06 | その他 technology
焚き火台
2011年秋の話だが、お蔵出し。

最近のキャンプサイトは直火禁止の所が大半だ。しかしキャンプの醍醐味と言ったら炭ではなく(ましてやガスや電気ではなく)薪でのファイヤー!ということで、前から欲しかったコールマンのステンレスファイアープレイスを購入。とあるところで、なんと現品限りのディスカウント購入できた。

組み立て方は案外簡単。ただし、エッジが立っているので、軍手をつけてくみたててちょ。
b0068870_9493690.jpg

b0068870_9501143.jpg
b0068870_9502946.jpg

by Takahiro_Komiya | 2012-01-02 09:51 | その他趣味系