何でもありの備忘録
by takahiro_komiya
S M T W T F S
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30
カテゴリ
以前の記事
2018年 08月
2018年 07月
2018年 06月
2018年 05月
2018年 04月
2018年 03月
2018年 02月
2017年 11月
2017年 10月
2017年 09月
2017年 08月
2017年 07月
2017年 06月
2017年 05月
2017年 04月
2017年 03月
2017年 02月
2017年 01月
2016年 12月
2016年 11月
2016年 10月
2016年 09月
2016年 08月
2016年 07月
2016年 06月
2016年 05月
2016年 04月
2016年 03月
2016年 02月
2016年 01月
2015年 12月
2015年 11月
2015年 10月
2015年 09月
2015年 08月
2015年 07月
2015年 06月
2015年 05月
2015年 04月
2015年 03月
2015年 02月
2015年 01月
2014年 12月
2014年 11月
2014年 10月
2014年 09月
2014年 08月
2014年 07月
2014年 06月
2014年 05月
2014年 04月
2014年 03月
2014年 02月
2014年 01月
2013年 12月
2013年 11月
2013年 10月
2013年 09月
2013年 08月
2013年 07月
2013年 06月
2013年 05月
2013年 04月
2013年 03月
2013年 02月
2013年 01月
2012年 12月
2012年 11月
2012年 10月
2012年 09月
2012年 08月
2012年 07月
2012年 06月
2012年 05月
2012年 04月
2012年 03月
2012年 02月
2012年 01月
2011年 12月
2011年 11月
2011年 10月
2011年 09月
2011年 08月
2011年 07月
2011年 06月
2011年 05月
2011年 04月
2011年 03月
2011年 02月
2011年 01月
2010年 12月
2010年 11月
2010年 10月
2010年 09月
2010年 08月
2010年 07月
2010年 06月
2010年 05月
2010年 04月
2010年 03月
2010年 02月
2010年 01月
2009年 12月
2009年 11月
2009年 10月
2009年 09月
2009年 08月
2009年 07月
2009年 06月
2009年 05月
2009年 04月
2009年 03月
2009年 02月
2009年 01月
2008年 12月
2008年 11月
2008年 10月
2008年 09月
2008年 08月
2008年 07月
2008年 06月
2008年 05月
2008年 04月
2008年 03月
2008年 02月
2008年 01月
2007年 12月
2007年 11月
2007年 10月
2007年 09月
2007年 08月
2007年 07月
2007年 06月
2007年 05月
2007年 04月
2007年 03月
2007年 02月
2007年 01月
2006年 12月
2006年 11月
2006年 10月
2006年 09月
2006年 08月
2006年 07月
2006年 06月
2006年 05月
2006年 04月
2006年 03月
2006年 02月
2006年 01月
2005年 12月
2005年 11月
2005年 10月
2005年 09月
2005年 08月
2005年 07月
2005年 06月
2005年 05月
2005年 04月
2005年 02月
2005年 01月
2004年 12月
2004年 11月
カテゴリ:Ethernet( 254 )
on-device memory
ここで書いた on-device memory だが、TCAMとかと勘違いされるとなんなので、ちょっと説明。

b0068870_13384234.png
これをやるのに ibv で実装する話が on-device memory の話に出ている。この話は別に将来の話ではなく、現行の ConnectX-5 はサポートしている。Mellanox は VMA
という socket framework を提供している。(トリビアな話だが、VMA は Voltaire Messaging Accelerator の略。Voltaire はIBスイッチのメーカで、Mellanoxが買収した)

VMAでサポートしている機能はまだほとんどないので今後の進化に期待。

こんな感じ。VMAマニュアルはこちらを参照

Each PCI transaction between the system’s RAM and NIC starts at ~300 nsec (andincreasing depended on buffer size). Application egress latency can be improved by reducingas many PCI transition as possible on the send path.

Today, VMA achieves these goals by copying the WQE into the doorbell, and for smallpackets (<190 Bytes payload) VMA can inline the packet into the WQE and reduce the datagather PCI transition as well. For data sizes above 190 bytes, an additional PCI gather cycleby the NIC is required to pull the data buffer for egress.


ちなみに大きさは per port で 128KB です
# HCA単位で 256KB で、2ポートで使うと1ポートあたり128KBになります


VMAはオープンソースというのはこちらのブログにもかかれています。ソースはこちら。Windows用のライブラリと SMPTE 系の標準を採用した RiverMax というものもあります




by Takahiro_Komiya | 2018-07-12 13:55 | Ethernet
P4Runtime enabled Mellanox Spectrum switch
https://wiki.onosproject.org/display/ONOS/Controlling+P4Runtime-enabled+Mellanox+Spectrum+switch+with+ONOS



by Takahiro_Komiya | 2018-06-21 16:38 | Ethernet
昨年に引き続き受賞(INTEROP Best of Show Award)
昨年の NPUアプライアンス IDG4400 に引き続き、今年も INTEROP Best of Show Award(サーバ・ストレージ部門)のグランプリを受賞。受賞製品は Bluefield Smart NIC 。

Bluefield はこんな感じの SoC。
b0068870_21500042.png
ARM A72 x 16コア(Smart NICでは消費電力の問題から8コア)とConnectX-5 100G NIC(こちらも同じ問題から現行製品では 25GbE x 2ポート)と Mellanox の PCIe Gen3/4 スイッチが搭載されている。ということで、巷によくある NPU を搭載するタイプの Smart NIC や FPGA 搭載の Smart NIC とは根本から異なる。

b0068870_21492561.png
ARM が搭載され、普通の OS (例えば centos)が動作する。また、ConnectX-5 に内蔵されている embedded switch (ハードウェアスイッチ)は、Open vSwitch をハードウェアオフロードしたもので、制御は OvS で可能。普通の Linux が動作するということで、iptables/conntrack/tc/dpdk が普通に動く。つまり、データプレーンやペイロードの処理を行うようなことをするときも、特段新しいことを覚えなくても使用できる。

もちろん ConnectX-5 の機能は使える(OvS offload, NVMe over fabrics protocol offload, nvmeof target offload)というすぐれものだ。nvmeof target offload に関してはconnectx-5 以上の性能がある(interopでは説明していないけど)。


いくつかのユースケースうちここで書いても問題ないだろう内容はこの2つか。
b0068870_22010496.png
b0068870_22013002.png

汎用プロセッサが乗っているということで、会場でも面白いユースケースの相談が多かった。もう普通に買えるのでほしい方は販社さんにご一報を。



by Takahiro_Komiya | 2018-06-16 22:04 | Ethernet
Fabric-attached Bunch of FLASHとSDS(client)
Excelero だけではなく、東芝メモリも SDS に参入。プレスリリースには画像がないので、KumoScale のアーキテクチャはこちらで。FBOF (Fabric-attached Bunch of Flash) なる言葉はこちらのサイトに出ていた。

Pure Storage や EMC みたいな今までのアレイベンダだけではなく、Pavilion Data VexataAttala Systems といったところも出てきている中、E8や Micron + Excelero みたいなものも増えてくるのではないかとみている。背景としてはいくつか話はあるが、やはり Open Channel な話がある。

それはともかく、スケールアウトストレージといっても、ブロックプロトコルでアクセスしている限りは単一ボリュームへのアクセスは性能的にスケールアウトできない。したがって、ここを(データプレーンは NVMeoFを使いつつ)独自プロトコル化していくのは必然化と。こういう点でKumoScaleをみると面白そうな感じか。

#以上、妄想

やはりあの人に聞くしかないか?それともSNIA-Jなところで聞けるか?いずれにしても楽しみ。

↑というこをを踏まえ、これを読む

by Takahiro_Komiya | 2018-03-22 11:28 | Ethernet
HMC/Bloom filter の実例
今更ながらに引っかかってきたので、忘れないように記載。

Juniper QFX10000 Technical Overview
Hybrid Memory Cube and Bloom Filters

Given these limitations, we still wanted 1 read (search) per packet for LPM. Juniper’s Bloom Filter Technology allows us to get 1 search for LPM in nearly all cases with a high number of entries, which enables the high logical scale.



これ、今ならHMC使うのかな。



by Takahiro_Komiya | 2017-10-11 09:39 | Ethernet
NXP Layerscape LX2160A
Mellanox の Bluefield ベースの smart NIC をアナウンスしたばかりではあるが、NXPからも A72 ベースの SoC が発表された。記事曰く、そこそこのスペックである。

#PCIe Gen4 だし 100GbE だし

ただ、130Gbps までのスイッチング性能ということで、 ConnectX-5 ベースの Bluefield がまだ一枚上を行っている。また、VNF のオフローディングやストレージオフロードについてはあまり詳細がない。選べる製品が増えるのは良いこと。

それにしても PCIe x 6 って。




by Takahiro_Komiya | 2017-10-10 12:51 | Ethernet
sPIN
ETH Zurich, Sandia の人々が面白い研究をしている。


Motivationの部分から。

We design a unified interface where programmers can specify kernels, similar to CUDA [8] and OpenCL [9], that execute on the NIC. Differently from CUDA and OpenCL, kernels do not offload compute-heavy tasks but data-movement-heavy tasks, specifically, tasks that can be performed on incoming messages and only require limited local state.

後半部分の話ってあれと似ているな。



b0068870_13285023.png




by Takahiro_Komiya | 2017-09-14 13:27 | Ethernet
NVMeoF の構成(最新版動画)
INTEROP でも NVMe over Fabrics のデモを行ったが、最新の動画が公開されたので、メモ

Fibre Channel をやっていた身からすると異様なほどめんどくさいわけだが、このあたりはどうにかならんのだろうか。automatic discovery がほしい。




by Takahiro_Komiya | 2017-07-07 10:12 | Ethernet
MirconがExceleroベースストレージを発表
このような記事が出ている。

Micron Unleashes the Full Power of NVMe Storage, Unlocking Unused Capacity and Performance (リンク1)


Micron moves up stack to Excelero-powered flash array product (リンク2)


リンク1の方には excelero の名前は紹介程度にしか書いていない。リンク2の方に多少細かく excelero の話がでている。


SolidScale のポイントは


  • RoCE 対応 (つまり、Ethernet)
  • 100GbE


ちなみに ConnectX-4 が使われている。Link-X もあるから接続性もOK。



#24本だから2本で48laneでむにゃむにゃ




by Takahiro_Komiya | 2017-05-04 08:12 | Ethernet
Extreme Networks To Acquire Brocade's Data Center Networking Business
キター

ExtremeがAvayaのアセットを買収というニュースが出たときにはダメかと思ったけど、寄せ集めたか。

#Extreme というと、こんなのもある。

これで体面上は MLX/SLX は残る。VDX/NOS はどうなる。




by Takahiro_Komiya | 2017-03-30 10:02 | Ethernet