kommy の備忘録

Bluefield SNAP Technology 概略

OCP Global Summit 2019 の開催直前に Bluefield SNAP Technology の発表があった。

SNAP の話の前段を書いた方がわかりやすいと思うので、まずはAWS Nitro について。Nitro System についてはググれば出てくるので、ここではクラスメソッドの記事を引用。軽量HVによりストレージ仮想化を実現し、リモートストレージをローカルストレージとして使うことができる。

Bluefield SNAP はなんなのかというと、ストレージ仮想化技術である。DAS で NVMe を使うデメリットは拡張性や可用性などがあるため、わたしは日々 nvme over fabric 技術を推進している。ところが、nvme over fabric はベアメタルクラウドなどを構築するときはや composable infrastructure を実現する際に困ったことが生じる。たとえば、ベアメタルOSとしてRDMAやover fabric ドライバが必要になるため、サポートされないOSでは使えない。例えば、ベアメタルインストールが必要である VMware は構築できない。

SNAPを使えば、over fabric デバイスがローカルデバイスとしてエミュレーションされるため、上記のVMwareも構築可能だ。仕組みは上記のとおり。BF Smart NIC がローカルターゲットデバイスとなり、over fabric のイニシエータとなっている。ボリューム構成やin-bandの処理などは SDPK や BF のオフロードエンジンでオフロードも可能。つまり 4KB block で 2.7MIOPS (100Gbpsスループット)も原理的には可能だ。

BF Smart NIC にはネットワークアイソレーションもあるため、一度で二度おいしい感じ。ネットワーク、ストレージの分離ができ、composable infra が構築できますよ、と。

一つ必要な要素がある。それはSNAPを使う SDS だ。一番最初のプレスリリースに Excelero や E8 のエンドースがあるので、その辺は察してほしい感じ。

Fabric-attached Bunch of FLASHとSDS(client)

Excelero だけではなく、東芝メモリも SDS に参入。プレスリリースには画像がないので、KumoScale のアーキテクチャはこちらで。FBOF (Fabric-attached Bunch of Flash) なる言葉はこちらのサイトに出ていた。

Pure Storage や EMC みたいな今までのアレイベンダだけではなく、Pavilion Data や Vexata や Attala Systems といったところも出てきている中、E8や Micron + Excelero みたいなものも増えてくるのではないかとみている。背景としてはいくつか話はあるが、やはり Open Channel な話がある。

それはともかく、スケールアウトストレージといっても、ブロックプロトコルでアクセスしている限りは単一ボリュームへのアクセスは性能的にスケールアウトできない。したがって、ここを(データプレーンは NVMeoFを使いつつ)独自プロトコル化していくのは必然化と。こういう点でKumoScaleをみると面白そうな感じか。

＃以上、妄想

やはりあの人に聞くしかないか？それともSNIA-Jなところで聞けるか？いずれにしても楽しみ。

↑というこをを踏まえ、これを読む。

NVMe over fabrics target offload と CMB の話

そろそろ NVMe タグを作った方がいいか。

ちょうど先週話した件が分かりやすい資料になっている。どうせなら先々週この資料がほしかった。

# SDC2017 の Idan のプレゼンね

NVMeoF の構成(最新版動画)

INTEROP でも NVMe over Fabrics のデモを行ったが、最新の動画が公開されたので、メモ。

Fibre Channel をやっていた身からすると異様なほどめんどくさいわけだが、このあたりはどうにかならんのだろうか。automatic discovery がほしい。

FOS fabricLog Reference

Fabric OS v8.0 になってから Brocade fabricLog Reference というマニュアルができていることについ先日気がついた。

fabricLog(fabStateShow)についてはこちらとかこちらに書いてあるが、FOS/NOS においてファブリック形成時の挙動がつかめる情報だ。



でもって、こいつの解説を簡単にまとめたのがこちら。




#NOS の場合は参考程度に

Gen-Z

詳しくはこちら。

Whitepaperにも書かれているが、Memory Semantic Fabric 技術だ。解説記事としてはこちら。

個人的には大変興味があるが、会社としては6ページの右下（I/O）より外側担当。


#2016/10/13追加
ARMのblog

FC-NVMeのセッション確立までの流れ

特段、FCと異なるところはない。しいて言えば最後の部分か。

1) ファブリックログインの実行(FLOGI)

2) Name Server にログイン

3) Name Server に自身を登録
a) FC-4 TYPE オブジェクト
0x28h (NVMe over FC)
b) FC-4 Features オブジェクト
ビット 定義
3　　 予約
2 　　discovery service supported (1:supported)
1 　　initiator function supported (1:supported)
0 　　target function supported (1:supported)

4) Fabric Controller への RSCN の登録(SCR)

5) Name Server に GID_FF(Get PortID_FC4_features)を発行し(IUの中身は initiatorならfeatures:01h, type:28h)、NVMe over FCかつNVMeターゲットポートをサポートするポートIDのリストを取得

6) 上記のリクエストに対する accept CT_IU に含まれるそれぞれの Port ID に対して下記の手順を実行する
a) PLOGI の送信(FC2 リンクの確立);
b) PRLI(FC4 接続の確立)
c) NVMe Report Subsystems コマンドを発行し、ターゲット NVMe_Port 経由でアクセス可能な NVMe Qualified Names(SUBNQNs) のリストを取得

Kernel v4.8 RC1 キター

Kernel v4.8 の diff はこれ。

個人的にはこれが入ったのがいい感じ。これはトランスポートに依存しないものなので、Fibre Channel だけではなく、Ethernet もいける。

ＥＭＣ XtremIO がメインテナンスモード？

記事。


そうなるかどうかは個人的にはあまり気にならない。ただ、この部分が気になる。


The source's conclusion is that this "explains the refocus on VSAN AFA and ScaleIO, Unity release and the AFA VMAX. EMC will obviously deny this, but this is what I and several others have heard."


ま、FUDだとしても驚かないけど、これってやっぱりあの流れか。

VM Insight and NVMe over FC-fabric

こんな発表が。

既に Brocade G620 という Gen6 FC(32G FC)スイッチは出荷開始している。今回の発表は Director クラス製品である X6 シリーズの発表である。製品としては Gen6 FC 、つまり 32G/128G に対応というところが肝だが、このblogでいいたいのは以下の二つ。

1. VM Insight
2. NVMe over FC-Fabric

まず、1. の VM Insight だが、

VM Insight uses standards-based VM tagging to enable monitoring of VM-level application performance issues in a Gen 6 Fibre Channel SAN.


とあるとおり、もともとはFC-NWSGで議論されていた（FC-FS/FC-GS）16バイトのオプショナルヘッダー(VMID)を使ったVM(もしくはアプリケーション)の識別を実現するものだ。

FC Switch で使われているスイッチにはもともと ACL ベースの Performance monitoring はついているが、VM Insight では、上記のVMIDのパースが可能になっている。したがって、VM単位の End-to-End モニタリングが可能だ。また、もしVMもしくはアプリケーションがlive migrationしたとしても、ユニークなVMIDがついていれば識別が可能になる。

＃Windows Server の Synthetic FC HBA 機能などは NPIV を使っているため、ユニークなIDというには制限が多すぎた

VM Insight 機能についてはまだ発表だけで、実装はこれからになる。というのも、VMware やアダプタベンダのサポートも必要になるからだ。これについてはちかいうちに話ができるようになるのでは。


次が2番目の NVMe over FC Fabric だ。ただ、これはこのblogを見ている人であれば、既にいくつも投稿をみているだろう。ここでも書いているとおり、既に NH-IOL での plugfest も行われている。


vmid, NVMeoF (FC/Ethernet) はここから1年半くらい熱いテクノロジだ。