何でもありの備忘録
by takahiro_komiya
S M T W T F S
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30
カテゴリ
以前の記事
2017年 10月
2017年 09月
2017年 08月
2017年 07月
2017年 06月
2017年 05月
2017年 04月
2017年 03月
2017年 02月
2017年 01月
2016年 12月
2016年 11月
2016年 10月
2016年 09月
2016年 08月
2016年 07月
2016年 06月
2016年 05月
2016年 04月
2016年 03月
2016年 02月
2016年 01月
2015年 12月
2015年 11月
2015年 10月
2015年 09月
2015年 08月
2015年 07月
2015年 06月
2015年 05月
2015年 04月
2015年 03月
2015年 02月
2015年 01月
2014年 12月
2014年 11月
2014年 10月
2014年 09月
2014年 08月
2014年 07月
2014年 06月
2014年 05月
2014年 04月
2014年 03月
2014年 02月
2014年 01月
2013年 12月
2013年 11月
2013年 10月
2013年 09月
2013年 08月
2013年 07月
2013年 06月
2013年 05月
2013年 04月
2013年 03月
2013年 02月
2013年 01月
2012年 12月
2012年 11月
2012年 10月
2012年 09月
2012年 08月
2012年 07月
2012年 06月
2012年 05月
2012年 04月
2012年 03月
2012年 02月
2012年 01月
2011年 12月
2011年 11月
2011年 10月
2011年 09月
2011年 08月
2011年 07月
2011年 06月
2011年 05月
2011年 04月
2011年 03月
2011年 02月
2011年 01月
2010年 12月
2010年 11月
2010年 10月
2010年 09月
2010年 08月
2010年 07月
2010年 06月
2010年 05月
2010年 04月
2010年 03月
2010年 02月
2010年 01月
2009年 12月
2009年 11月
2009年 10月
2009年 09月
2009年 08月
2009年 07月
2009年 06月
2009年 05月
2009年 04月
2009年 03月
2009年 02月
2009年 01月
2008年 12月
2008年 11月
2008年 10月
2008年 09月
2008年 08月
2008年 07月
2008年 06月
2008年 05月
2008年 04月
2008年 03月
2008年 02月
2008年 01月
2007年 12月
2007年 11月
2007年 10月
2007年 09月
2007年 08月
2007年 07月
2007年 06月
2007年 05月
2007年 04月
2007年 03月
2007年 02月
2007年 01月
2006年 12月
2006年 11月
2006年 10月
2006年 09月
2006年 08月
2006年 07月
2006年 06月
2006年 05月
2006年 04月
2006年 03月
2006年 02月
2006年 01月
2005年 12月
2005年 11月
2005年 10月
2005年 09月
2005年 08月
2005年 07月
2005年 06月
2005年 05月
2005年 04月
2005年 02月
2005年 01月
2004年 12月
2004年 11月
タグ:bigdata ( 28 ) タグの人気記事
HeteroDBって Analytics にフォーカスすればいいなと思います
海外さんとは一度しか会ったことないけど、一度ディスカッションしてみたいなぁ。

GPU <-> NVMe over Fabrics で Peer-direct な感じでやるのがいいと思うんだけどな。mapd/kinetica/sqream Tech だと海外だからなぁ。

#漆原さんもいれて話したい


そういや ampool.io はどうかな。



by Takahiro_Komiya | 2017-08-29 20:32 | その他 technology
realtime data analytics と ETL
最近のセミナーのネタではあるけど、ここには特に何もソリューションは書いてないか。

リンクがついているけど、ここのデータだけは使える。



by Takahiro_Komiya | 2017-08-10 10:15 | その他 technology
KNIME
https://www.knime.org/


これは知らかなった。元ネタ
by Takahiro_Komiya | 2016-09-06 16:22 | その他 technology
FPGA による Analytics のアクセラレーション
GPUをつかったこいつもあるが、日立からもこんなアナウンス

Pentaho と Advanced Data Binder の組み合わせってもう何年も話をしているじゃないですか。はやく本気でやりましょうよ。

これが後の "Compute-in-Storage" のはしりになってほしい。


以下、勝手な意見。FPGA にしても GPU にしても、そこからだと I/O が遠いんだよな。深いストリームプロセッサならともかく、ホストプロセッサがメニーコアになって、NG-NVMになればそっちのほうがいいと思います。
by Takahiro_Komiya | 2016-08-04 09:41 | その他 technology
Glassbeam
Solrベースらしい。

http://www.glassbeam.com/spl-technology/
by Takahiro_Komiya | 2015-10-05 17:54 | その他 technology
Brocade AMP その2
AMPはリアルタイムモニタリングアプライアンスだ。モニタリングポイントにおいてフローから特徴量を抽出する。前にも書いたが、フローの全量をリダイレクトして分析しているわけではない。各スイッチにおいて前処理をしている。

b0068870_1853873.png


これらの特徴的な情報を Initiator, Target, Fabric において取得することで、どこに問題があるのかを理解することができる。ECTもしくはFRTが Initiator/Target/Fabricのいずれでも大きい値の場合(何より大きいかは言っていない、これは定常的な値との比較になる)、それはおそらく Target が FC Slow Drain Device であることを表す。また、Fabricだけ普通で、Initiator/Target で大きい場合は、Target が SCSI 的に見た Slow Drain であることを示しているはずだ。このようにある一つの事象を抽出するために複数のモニタリングポイントの情報を関連付けしないといけない(しかもリアルタイムに)。これがAMPのやることだ。

一台のスイッチにおいてレイテンシなどの情報を取得することは FOS の bottleneckmon コマンドで可能だ。しかし、アプリケーションフロー的には単一のスイッチの情報だけでは意味を成さない。AMPはファブリックワイドで情報の集積、関連付け、ポリシー比較、通知を行うのが新しい。

これらの情報をつかうことで、AMPはストレージというよりもアプリケーションのコンサルに使える。仮想化の場合は VM ID 的な情報もないとダメだけど。

どういう場合にAMPのようなアプライアンスが必要になるかというと、

1.大規模(ポート数で言うと2000ポートを越えるような構成)
2.複数のストレージ(とりわけ複数ベンダ)がある
3.FCでいうところの世代がまたがる(4GFC, 8GFC, 16GFCなどを混在させている)デバイスが接続されている

とりわけ、2,3の場合はAMPは役に立つだろう。

対象に課題があるとすると、日本では2,3に合致するケースは少ないというところか。
by Takahiro_Komiya | 2015-08-31 18:27 | ファイバチャネル
性能管理とBIGDATA
ITL Nexus と LBA の限界の話を書いてしまっているが、この方式だといいのはフローがはっきりみえること。なので、IOフローをモニタしておけば性能も管理できる。

とはいえ、これらの情報は単発では意味が無いので、どこかに集めて Realtime response & Analytics な何時を実現することが必要。昔、Open System Frame Redirection の話でも書いた気がするが、似たような技術を使用してvTAPを構成しモニタすることができるようになる。

モニタだけなら簡単にできそうなきもするが、それだけではインサイトを抽出できない。こんなことをモニタして分析できればインサイトが得られるなと。

b0068870_1720865.png

by Takahiro_Komiya | 2015-08-11 17:33 | ファイバチャネル
glassbeam と ThingWorx
Kumar Malavalli の会社(InMageの次)はこちら

でもって ThingWorx との話はこちら



#2015/8/13
HDS が OEM 契約していたのか!
by Takahiro_Komiya | 2015-08-10 17:07 | その他 technology
Multi-Modal Architecture
In-Memory Computing Summit 2015 の資料を見ていたらこんなのを発見。これって...

b0068870_12493481.png

by Takahiro_Komiya | 2015-07-23 12:50 | その他 technology
Re-Architecting DC for the Data Explosion
Mellanox のVPが書いている記事がある。

同じことを言っているようで、違う。それはともかく大まかには同じなので絵だけは使わせてもらいたい。
by Takahiro_Komiya | 2015-07-23 10:02 | Ethernet