何でもありの備忘録
by takahiro_komiya
S M T W T F S
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31
カテゴリ
以前の記事
2017年 07月
2017年 06月
2017年 05月
2017年 04月
2017年 03月
2017年 02月
2017年 01月
2016年 12月
2016年 11月
2016年 10月
2016年 09月
2016年 08月
2016年 07月
2016年 06月
2016年 05月
2016年 04月
2016年 03月
2016年 02月
2016年 01月
2015年 12月
2015年 11月
2015年 10月
2015年 09月
2015年 08月
2015年 07月
2015年 06月
2015年 05月
2015年 04月
2015年 03月
2015年 02月
2015年 01月
2014年 12月
2014年 11月
2014年 10月
2014年 09月
2014年 08月
2014年 07月
2014年 06月
2014年 05月
2014年 04月
2014年 03月
2014年 02月
2014年 01月
2013年 12月
2013年 11月
2013年 10月
2013年 09月
2013年 08月
2013年 07月
2013年 06月
2013年 05月
2013年 04月
2013年 03月
2013年 02月
2013年 01月
2012年 12月
2012年 11月
2012年 10月
2012年 09月
2012年 08月
2012年 07月
2012年 06月
2012年 05月
2012年 04月
2012年 03月
2012年 02月
2012年 01月
2011年 12月
2011年 11月
2011年 10月
2011年 09月
2011年 08月
2011年 07月
2011年 06月
2011年 05月
2011年 04月
2011年 03月
2011年 02月
2011年 01月
2010年 12月
2010年 11月
2010年 10月
2010年 09月
2010年 08月
2010年 07月
2010年 06月
2010年 05月
2010年 04月
2010年 03月
2010年 02月
2010年 01月
2009年 12月
2009年 11月
2009年 10月
2009年 09月
2009年 08月
2009年 07月
2009年 06月
2009年 05月
2009年 04月
2009年 03月
2009年 02月
2009年 01月
2008年 12月
2008年 11月
2008年 10月
2008年 09月
2008年 08月
2008年 07月
2008年 06月
2008年 05月
2008年 04月
2008年 03月
2008年 02月
2008年 01月
2007年 12月
2007年 11月
2007年 10月
2007年 09月
2007年 08月
2007年 07月
2007年 06月
2007年 05月
2007年 04月
2007年 03月
2007年 02月
2007年 01月
2006年 12月
2006年 11月
2006年 10月
2006年 09月
2006年 08月
2006年 07月
2006年 06月
2006年 05月
2006年 04月
2006年 03月
2006年 02月
2006年 01月
2005年 12月
2005年 11月
2005年 10月
2005年 09月
2005年 08月
2005年 07月
2005年 06月
2005年 05月
2005年 04月
2005年 02月
2005年 01月
2004年 12月
2004年 11月
タグ:rdma ( 16 ) タグの人気記事
FC-NVMe Data Transfer Rules
提案キマシター

This proposal add data handling functions to FC-NVMe. The goal of this proposal is to translate SGL Data to data residing in the DATA_IU frame. This is needed since FC-NVMe does not use RDMA and thus cannot transfer SGLs directly across the wire.

Two types of data of data are handled:
a) metadata
b) LBA data
by Takahiro_Komiya | 2016-04-18 09:59 | ファイバチャネル
Rack-scale architecture と Hadoop/Spark(分散コンピューティングフレームワーク)
Hadoop/Spark Conference Japan の神林さんのセッションを聞いた。やっぱりアプリケーションをやっている人の話は面白いし、ためになる。

#jobによって checkpointをつけるポイントを変えたいができないというのは書いている人でないとわかりませんな

NVMe と RDMA でコンピュートのアーキテクチャが変わるというのは同感。shared nothingとファブリックベース(とはいっていなかったが)で結合する話は同感。HPCでGrid がはやったときに gridftp を使うから SAN(FC)はいらないとよく言われたものだが、ローカルストアとかローカルプロセッシング能力が向上するとインターコネクトがボトルネックになるという話し方は参考になった。

RSA vs distributed computing という話で個人的にはとても興味深かった。

直接は関係ないけど、話の内容を調べていたらこんなのを発見。
by Takahiro_Komiya | 2016-02-08 15:43 | Ethernet
RDMA Hadoop
久々にオハイオ大を見たら少し増えた?

某社 Graham さんは IB でと言っていたが、別にIBでなくてもいいですよ。
by Takahiro_Komiya | 2016-01-22 15:11 | Ethernet
NVMe over fabrics battle 続き
ここでも書いたが、ストレージコンテクストかメモリ(アプリケーション)コンテクストかは重要。しかしそれはどのくらい先であろうか。

#個別にはあるけど。SAP HANA とか

b0068870_152442100.jpg

by Takahiro_Komiya | 2016-01-21 15:26 | ファイバチャネル
No compromises: Distributed transactions with consistency, availability, and performance
http://research.microsoft.com/apps/pubs/default.aspx?id=255848
by Takahiro_Komiya | 2015-10-06 10:33 | その他 technology
Intel iWARP demo
https://communities.intel.com/community/wired/blog/2014/09/17/with-support-from-microsoft-intel-demonstrates-its-commitment-to-iwarp-technology-at-the-intel-development-forum

by Takahiro_Komiya | 2014-09-18 14:57 | Ethernet
Intel XL710
某社BDMから言われていた奴がこれ。

http://www.pcper.com/news/General-Tech/Intel-XL710-Fortville-40-Gigabit-Ethernet-and-VXLAN-Acceleration
by Takahiro_Komiya | 2014-09-09 22:53 | Ethernet
DSSDのような話
こんな感じか。

High-Performance Big Data (HiBD) で RDMA-based Hadoop ね。

論文の方
by Takahiro_Komiya | 2014-08-27 17:44 | Ethernet
System architecture type-5???
ここでDSSDの買収を書いているが、その直前のとある人のblog(EMCな人)にこんなのがでていた。

FIRST, SECOND, THIRD のところから下がいいね。引用すると


Put another way: DSSD != “SCSI WRITE (block address)” + DSSD !=”file_based_open_ (pointer + offset).


これはDSSDの資料にも書かれていたことだが、RDMAということだわな。下にもそうかかれている。



DSSD – doesn’t require any of those file/block semantics between the flash read/write model. It can expose this via libHDFS or object semantics, or directly mapping to key value stores (with a PCIe/NVMe connection). If you want direct memory mapping over RDMA and over direct PCIe NVMe, it can do that too!

by Takahiro_Komiya | 2014-08-27 09:45 | その他 technology
EMCによるDSSDの買収
ここにも出ているが、EMCがDSSDを買収した。

Flash-based system
150M Random IOPS
147,000 NAND die
1TB/s
1PB

とかは、まぁすごいのだが、ポイントは

Having more semantically rich APIs

だな。
by Takahiro_Komiya | 2014-05-07 09:39 | その他 technology