何でもありの備忘録
by takahiro_komiya
S M T W T F S
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31
カテゴリ
以前の記事
2017年 11月
2017年 10月
2017年 09月
2017年 08月
2017年 07月
2017年 06月
2017年 05月
2017年 04月
2017年 03月
2017年 02月
2017年 01月
2016年 12月
2016年 11月
2016年 10月
2016年 09月
2016年 08月
2016年 07月
2016年 06月
2016年 05月
2016年 04月
2016年 03月
2016年 02月
2016年 01月
2015年 12月
2015年 11月
2015年 10月
2015年 09月
2015年 08月
2015年 07月
2015年 06月
2015年 05月
2015年 04月
2015年 03月
2015年 02月
2015年 01月
2014年 12月
2014年 11月
2014年 10月
2014年 09月
2014年 08月
2014年 07月
2014年 06月
2014年 05月
2014年 04月
2014年 03月
2014年 02月
2014年 01月
2013年 12月
2013年 11月
2013年 10月
2013年 09月
2013年 08月
2013年 07月
2013年 06月
2013年 05月
2013年 04月
2013年 03月
2013年 02月
2013年 01月
2012年 12月
2012年 11月
2012年 10月
2012年 09月
2012年 08月
2012年 07月
2012年 06月
2012年 05月
2012年 04月
2012年 03月
2012年 02月
2012年 01月
2011年 12月
2011年 11月
2011年 10月
2011年 09月
2011年 08月
2011年 07月
2011年 06月
2011年 05月
2011年 04月
2011年 03月
2011年 02月
2011年 01月
2010年 12月
2010年 11月
2010年 10月
2010年 09月
2010年 08月
2010年 07月
2010年 06月
2010年 05月
2010年 04月
2010年 03月
2010年 02月
2010年 01月
2009年 12月
2009年 11月
2009年 10月
2009年 09月
2009年 08月
2009年 07月
2009年 06月
2009年 05月
2009年 04月
2009年 03月
2009年 02月
2009年 01月
2008年 12月
2008年 11月
2008年 10月
2008年 09月
2008年 08月
2008年 07月
2008年 06月
2008年 05月
2008年 04月
2008年 03月
2008年 02月
2008年 01月
2007年 12月
2007年 11月
2007年 10月
2007年 09月
2007年 08月
2007年 07月
2007年 06月
2007年 05月
2007年 04月
2007年 03月
2007年 02月
2007年 01月
2006年 12月
2006年 11月
2006年 10月
2006年 09月
2006年 08月
2006年 07月
2006年 06月
2006年 05月
2006年 04月
2006年 03月
2006年 02月
2006年 01月
2005年 12月
2005年 11月
2005年 10月
2005年 09月
2005年 08月
2005年 07月
2005年 06月
2005年 05月
2005年 04月
2005年 02月
2005年 01月
2004年 12月
2004年 11月
<   2009年 01月 ( 16 )   > この月の画像一覧
続続 California の情報
Byte & Switch 等に Cisco/Dell のパートナシップに関する記事がでていた。

例によって Byte & Switch の URL には Excite の禁止している word が出ているので href でリンクできないです。すみません。

Cisco, Dell Partner
Cisco and Dell to deliver combined next-generation data center solutions
by takahiro_komiya | 2009-01-30 00:01 | その他 technology
PCI express の Lane-to-Lane deskew
Brocade の ISL Trunking は Frame を複数の ISL に spray し、それでも、In-order delivery を実現するために、Port 間で deskew buffer を持っている。この仕組み自体は Bloom ASIC から搭載されていた(Bloom というのは Brocade の第一世代 2Gbps FC Switch ASIC)。2000年に開発されたBloom (初搭載製品は codename "Cylon"/SilkWorm 3800)では4ポートのTrunking = 8Gbps の帯域がつくれたというシロモノである。

#2001年に高輪プリンスホテルで ISL Trunking のデモを200人の前でやったなぁ

今頃になって気づいたのだが、PCI express の Lane-to-Lance deskew も同じ発想であるということ。PCI express Gen2 では Lane は 5GT/s (8b10b encoding だから 500MB/sec に相等)で、あとは x4, x8 とかなっていく。このとき、byte striping/unstriping を行い、トラフィックを複数のレーンに分散していく。レーン間で in-order delivery を保証するために、レーン間では最大 20ns の skew があっても大丈夫なバッファを持っている(5 x TLP 相等?)。うーむ、我々のTrunkingと似ている。

標準には lane-to-lane deskew の実装は記載されているが、方式に関してはコメントがないとのことだが、同じ技術を使って PCI express もできますなぁ、プロトコルは似ているし。Condor2 ASIC では 8Gbps FC で既にやっているし。前にも書いたが PCI express は Gen3 で 8GT/s を実現。

#Brocade は 10Gbps Ethernet でも同じ技術を実装ですよ
by takahiro_komiya | 2009-01-26 01:06 | ファイバチャネル
CEE の場合のポート当たりのバッファ量
Nexus 7000 の場合、モードにもよるが、ポート辺りのバッファ量は MB を軽く超える。dedicate モードだと、ingress/egress のそれぞれで66MB, 80MB もある。如何にフレームを落とさないようにするかはバッファ量の勝負だったわけである。このあたりは Juniper も同じである。

PFC があればそもそもこんなにいらないというのがポイント。そもそも Datacenter ネットワークでは latency は ms 以下。ということは MACレイヤの遅延等、大目に見ても delay*bandwidth 積は 10Gbps * 1msec = 10 * 10^6 = 10Mbit 程度。つまり、1MB程度のバッファを持っていればいい。

Spirent の FCoE テスト装置の説明でも見たが、PFC/ETS が動いている環境では、この程度のバッファでもフレームロストがないことは、まぁ、自明。

1MB という量は、9KB の Jumbo frame を 10KB としても 100 個はバッファリングできる量になる。FC の BB_credit で考えると、100 個に相等するから、我々の観点からすると、これでも多い気がする。
by takahiro_komiya | 2009-01-23 05:36 | Ethernet
SR-IOV が普遍的になったら、Hypervisor レイヤでの Bridge は必要か?
SR-IOV に対応したアダプタがない現状では、Hypervisorが仮想化した vNIC, vHBA を VM が使用している。このため完全仮想化では I/O 性能に問題を抱えている。一方、SR-IOV にアダプタが対応した場合、アダプタの Virtual Function (VF) を VM が直接たたくことが可能になる。CNAの場合、10GbE VFs, 8Gbps FC VFs ができることになる。

FC の場合、アダプタの VF はどのように VM からみえるかというと、やっぱり vHBA が見える。ただ、FCの場合は、NPIV を使用して VF 単位に FCID (昔は PortID の意味で PID と書くことが多かったが、FCoE では FCID と書くので、今後は FCID と書こうと思う)を割り当てることができるが、Ethernet だと VF 単位に MAC Address を割り振るという新機能が必要がある。ということで、VEPA, NIV が必要になるわけだ。

#根本的な違いは FC の場合、frame forwarding は FCIDで行われているが、Ethernet の場合、MAC addressで行われている、ということ

実アダプタの VF が FCID, MAC によって VM 単位に割り振られるとどうなるかというと、Bridge (いわゆるスイッチ)が hypervisor に無くてもよくなる。というのも外部の bridge から VM の区別ができるようになるからである。そもそも hypervisor による実装では、上記の通り、性能に問題があるのと同時に、hypervisor 間に設定などの分配を行うことが難しいということがある(だから Nexus 1000V があるわけなのだが)。

Brocade FC HBA の場合、既に Hypwer-V + SC OM/VMM の連携で VM の自由なマイグレーション(I/O QoS を担保した状態で)ができるが、当然 CNA では (繰りかえすが VEPA, NIV が前提)同じことが可能。ということはソフトウェアスイッチは本当に必要??加えて、IOV 環境ではアダプタでの bridge も実装されるはず(Virtual Ethernet Bridge:VEB)なので、ますます需要がわからない。このあたりはマーケットが決めることとはいえ、気になる。
by takahiro_komiya | 2009-01-22 05:49 | Ethernet
光学迷彩ネタ
メタマテリアル系で有名な Duke 大の David Smith の記事が、Scienceに載った。今度の話は可視領域ではないらしい。

あくまで、理論モデルの構築に成功というだけの話だけと、可視領域からマイクロ波領域までをカバー(単一のメタマテリアルじゃないと思うけど)するらしい。

Cloaking on a Ground Plane (published in Science, January 16, 2009).

反射じゃなくて、屈折(負の屈折率を持つメタマテリアルを使用して)することで、見えなくするという研究です。

Scienceを買ってみてみよう。
by takahiro_komiya | 2009-01-21 23:06 | その他 technology
続 California の情報
ニューヨークタイムズの記事の解説がITpro に載った。

VMware を乗せることができる汎用サーバのようだ。

#DELLという噂もあったが、そうではないのかも
by takahiro_komiya | 2009-01-21 06:25 | その他 technology
I/O Convergence 技術としての Fibre Channel
CEE がらみで CN のドキュメントを読むことがあるのですが、読めば読むほど Fibre Channel がよくできているように感じてしまう。

QCN のドキュメントの中に ExpEther の開発者が書いた資料があるのだけど、PCI-e のトラフィックを落とさないために工夫してトラフィックを制御していることがよくわかる。高速に QCN の Feedback を計算できるスイッチがないので、その代わりに 1KB ごとに Queue length を返しているとのこと。うーむ、そりゃ考えてますな。

しかし、開発者がいれば(まぁ、ここが重要なのだが)、FC で I/O convergence は実装できる(しかも自然に PFC/CN を必要とする問題の大半は解消)。PFC ≒VC/Brocade TRL、ETS≒Brocade QoS、CNは r_rdy 交換があれば必要ないし。

でもって、疑問。Egenera(あと Liquid Computing や今は無き Fabric7) では既に Backplane での I/O convergence はできている。これはどういう技術で実現しているのだろう?以前、どこかで FC-VI を使用しているような話を聞いた気がするが、Internet で検索しても出てこない。

知っている人は教えて欲しいなぁ。
by takahiro_komiya | 2009-01-21 06:03 | ファイバチャネル
バラクオバマの大統領就任
SFOの入国で待っている間に就任演説が終わっていました。残念。
by takahiro_komiya | 2009-01-21 05:57 | 何でもあり
Ethernet 本
CEE の勉強をするためには Ethernet の知識は必須です。さて、Ethernet 特に 10G Ethernet の L1/L2 について詳細が書かれた本を探してみてびっくり。Ethernet なら普通に本が出ているだろうと思ったら大間違いで、Ethernet のみを扱った本は皆無(もちろんCisco Catalystの解説書などは除く)。以前、Brocade の青本(既に絶版)でお世話になった「イデアコラボレーションズ」さんの訳された Ethernet 本と、10G Ethernet 技術教科書の2冊以外は見当たらない。正確に書くと、IP 解説本などの一部で L2 を解説しているケースはあるけど、Bridge, Repeater, Switch, HUB, VLAN などのキーワードしかない。

Layer2とかファイルシステム、I/Oなどの低位レイヤへの関心が薄い日本ではありますが、意外な発見でした。
by takahiro_komiya | 2009-01-20 17:18 | Ethernet
VEPA/NIV その後
2009年1月の IEEE DCB ミーティングにおいて掲題の件が議論された(もちろん CEE についても議論はされた)。

NIC(CNA)の Virtual Ethernet Bridge, Tag-less VEPA, Tagged が考えられるが。それらについての議論があった。

VEB は MAC とvNIC インスタンスごとのID(VID)により、NIC内でブリッジングする技術である。これに対して Tag-less VEPA は、一度外部の Bridge 経由でフレームがやり取りされる。どちらにしても、外部の Bridge は通常のスイッチ(802.1 Bridge)で通信が可能。

それに対して Tagged は、新しい Tag を使用するので、既存のスイッチでは対応不可。ちなみに Cisco NIV は Tagged である。
by takahiro_komiya | 2009-01-19 12:55 | Ethernet