IIJ 松江データセンターパークを見学してきた
IIJ の松江データセンターパーク見学ツアーに参加してきましたよ、というレポートです。いわゆるコンテナデータセンタの先駆け。
ブロガー記者募集！松江データセンターパーク見学ツアー | GIOろぐ
移動
大阪空港から Q400 に乗って小一時間で出雲空港へ到着。京都からだと新幹線でも所要時間はさほど変わらないと思われます。
乗ってきたボンバルディアの航空機。
出雲空港から松江まではバスで移動。 30分ぐらいだったきがしますが、他の参加者との会話が面白かったので忘れた。
そんなこんなで到着。他のデータセンタ、特に郊外型のデータセンタと比較するととても小ぶりな印象。ただし、データセンタパークとしての規模は小さいわけではなく、隣の土地を確保してあり二期以降の造成があるようです。
コンテナを吊り上げるためのクレーン車など、重機が入れるようにまわりのスペースは広く取ってあるのも印象的でした。
見学開始
受付がある管理棟で入館申請を行い見学開始。コンテナ DC というからには受付もプレハブみたいなのを想像していましたが、割とちゃんとした建物でした。まあこっちの建物は陳腐化しないし？
個人的には平時無人とかのほうが SF チックな格好良さを感じますが、そんなことは無い模様。
設備概要
全体図の説明無しにいきなり微に入り細に入りでは訳が分からんと思われるので、 IIJ 提供の全体図より、簡単にご説明。
とてつもなくざっくり説明すると、中央にある変圧器・遮断機などの入った電気設備棟を取り囲むようにサーバの入った IT モジュールが並び、その外側に空調モジュールが並ぶ、という構成になっています。
後述しますが、この構成自体も電気配線・冷媒配管を最短化するよう考えて作られています。
避雷設備
最初に妙なものへ目がいったのですが、避雷設備が避雷針では無く、架空地線避雷導体になっていました。
発電機や他の建物も同様でした。
金属の箱なので落雷には滅法強いのではないかと思われます。
モジュール設置エリア
コンテナを設置するための土台部分から見ていきます。
管理棟の隣はひとつ空けてコンテナが設置されていました。見学とか実験の都合ですかね。将来コンテナを引っこ抜くときのために空けているそうです。
モジュール設置エリアにある謎の金属部分は、こんな風にコンテナを溶接コンテナをボルト止めするための鋼材、を溶接するためにあるようです。
モジュール設置エリアたち。地面から飛び出ているのは接地線です。
電気設備棟を挟んで反対側にもモジュール設置エリアがあります。
IZmo S IT モジュール外見
コンテナデータセンタのキモである、サーバが格納された IT モジュールを見ていきます。単体で 300台のサーバを設置することが出来るとのことで、これ 2〜3個で弊社サービスを全部動かすことが可能な気がします。
最初に見るのは、設置時期が先になる IZmo S になります。ラックを斜めに配置することで小型化し大型トラックで運ぶことが可能。道路通行に際して事前の申請が不要なので、人手をかけずに運ぶことが出来るそうです。
向かって左側面。ファイバーなど通信線の引き込み口が見えます。
向かって右側面はこんな感じ。隣のコンテナと、もう一系統の通信線引き込み口が見えます。
コンテナ入り口全景を撮影し忘れていてアレですが、入り口はこちら。
右側に引き込まれているチューブはサーバの電力ケーブルが通っているそうです。
480V で引っ張りまわしてラック付近の変圧器で 200V に落とす例が多いのですが、このコンテナデータセンタでは、直接 200V をラックに引き込んでいるそうです。変圧器が一段減って効率よさそう。
ラック左側はこんな感じ。
IT モジュールは特にダンパーなど咬まさずに、直接ボルトで固定されていました。
耐震性などに問題は無いのかと聞いてみたのですが、ちゃんと大丈夫、とのこと。エアサスとはいえトラックによる運搬にも耐えているわけで。
見学から戻って冷静に考えてみると、構造上まったく免震出来ない地下の DC に、地震にすごく弱そうな自作サーバ(しかも一部は固定すらしていない)を並べた状態で、 3/11 の地震を食らって特に問題なかったという実体験が弊社にもあり、正しくラックマウントされた機器なら特に問題ない気はします。
IZmo S IT モジュール内部
続いては IZmo S の内部をドアの外から見学しました。
入って直ぐの前室では、 Web カメラが目につきます。基本的に人が立ち入らず運用するというコンセプト上、この手の遠隔監視は充実させてあるそうです。個人的な経験からは、 DC まで徒歩 10分とかでも、この手のものがあると便利だと思います。
前室入って直ぐにドアが二つあり、左側がコールド、右側がホットとなっていました。
実物を見ることは出来ましたが、こちらは IIJ 提供の内部の写真。
サーバとスイッチは見りゃ分かる感じですね。このサーバは弊社でもジャカスカ買っているような気がします。検証の結果、行き着くところは皆一緒だなぁ。
スイッチの方も、これまたコストパフォーマンスが良いので弊社でも使っているんですが、 ToR にこれを使うとは豪華だなぁ。これはベンダから採用事例が出ているのですが、設定可能な VLAN の数が多いとかコメントされていました。
それ以外では、入り口脇の分電盤に入るケーブルが、 200V で入れているためか割と太いのが印象に残りました。
このコンテナはまだ全力で稼働していないとのことで、各系統 50A ぐらいしか流れていませんでした。210V * 50A が 2系統でザックリ 20KW ぐらいですかね？もったいなくて CPU をぶん回したい衝動に駆られます。210V * 50A が 2系統で、さらに三相交流なので 1.73 を掛け算してザックリ 37KW が正解とのことでした。ファシリティについては素人に毛が生えた程度の若者なので、三相交流という発想はなかった。
その他、照明などで使う 100V も来ているとのこと。
IZmo S 側 空調モジュール
続きましては IT モジュールと並びキモである、外気冷却に対応した空調モジュールです。
人間と比較するとこんな感じの大きさ。デカいです。
右側から吸気し、上部の排気口から左に向けて排気します。
コンテナモジュールとはこんな感じで繋がります。
手前がホット側で、奥がコールド側になります。
IT モジュールと空調モジュールの接続部には幌のようなものも使われていました。地震による振動への対策と思われます。
吸気口をアップで撮影。見学時の気候では外気運転モードだったため、手を近づけると吸気しているのが分かりました。
中はよく見えず。
空調モジュールと IT モジュールを繋ぐ風洞が妙に複雑なのは、隣のモジュールと空気のやりとりを可能とするため。
隣にコンテナを増設した時に、このパネルを取っ払って隣のモジュールと連結するようです。
隣のモジュールと空気をやりとり出来るようにすることで、空調機の冗長度確保、メンテナンスなどを可能にするという手法は目から鱗でした。面白い。
2台のコンテナの間を撮影。この様に接続されます。
ちなみに、前述したように IT モジュールの稼働率がまだ高くないため、この日は空調モジュールを片方のみの運転とし、見学時は普通に両方動いていたそうですが、緊急時にはダンパを開いて両方のコンテナを冷却出来るそうです。面白い。
こちらは加湿のための水配管とのことです。
冬季の外気運転モードなどにおいては、 IT モジュール内の湿度が過度に不足する場合があるので、加湿器がついているそうです。
空調モジュールはやはり振動があるのか、ゴム状の板を挟んで据え付けられていました。
IZmo W IT モジュール
続きましては、より後に設置された IZmo W タイプの IT モジュールを見学していきます。こちらは 5台並んでいます。
コンテナ入り口側より。より後に作られた W 型の IT モジュールではファイバーの引き込み方法などが変更されています。
右上にある通信線は二つのキャットウォークで冗長化されていました。左下の電源ケーブルは変更ないようです。
電源引き込み口の近影。進化して味気なくなっております。
横に強電とかかれた箱があります。
IZmo W 側 空調モジュール
S モデルの空調モジュールとほぼ同一なのですが、リビジョンが違うらしく細かく異なっていたので、あっさりとご紹介します。 5台並ぶといい感じですね！
こいつは吸気口を覗くと、ダンパと思しき機構や緑色のフィルターが見えます。
頑張って覗き込んだところ、植物の種子と思われるものが付着しているのが確認できました。ちゃんと仕事してる！
これ掃除とかどうするんでしょうね？
発電機
最後に非常用発電機の写真を少々。柵の隙間から頑張って撮影しております。
最終的には 3台構成になるそうですが、現在は 2台のみ設置されているそうです。
利用率が上昇して 2台じゃ冗長度が足りなくなったら 3台目を設置するんでしょうな。
点検口がありますが、 IZmo W と違ってこっちは絶対入りたくない感じ。
「内部には高電圧、高速回転、高温の機械、及び可燃ガス、燃料、潤滑油があり〜」嫌過ぎ。
締めは発電機の撮影にチャレンジする我らがあきみちさんの勇姿で締めさせていただきます。
一脚を持ち上げて柵の上から撮影、という発想は無かった。
建築物であるか否か
技術的な差異ではないのですが、コンテナデータセンターは、建築物として取り扱うかどうかでお金や手間などの色々なコストが変わってくると説明を受けました。
たとえば、建築基準法で定められた耐震基準を満たしているかの審査を通す必要があり 3ヵ月という納期が台無しになってしまうなど、色々違いが出てくるそうです。
また、建築物ではない IT モジュールは、ひとつのデッカい機械であると見なされているので、左側の空調モジュールについている点検口と、右側の IT モジュールに付いている扉は法的に等価だそうです。新鮮な感じ。
建築物ではないことによるデメリットは、障害対応以外での IT モジュール内立ち入りが制限されることですが、そもそも論として、データセンタ作業なんぞ空調機器の点検頻度と同程度の頻度でお腹一杯でございます。
コンテナの製造からサービスへの投入まで
サーバの調達が必要になった場合、下記の工程を約3ヵ月で行うそうです。
- 静岡の工場でコンテナ製造
- 福島へ陸路輸送
- メーカ工場のラインから出てきたサーバをそのままキッティング
- 松江へ陸路輸送
- データセンタパークへ設置
クソみたいな量のダンボールを潰す仕事から開放されるというだけで心踊る気持ちになるし、地球に後ろめたい気分になりながら発泡スチロールの山を捨てることが無くなって良いですね！
このような手法だと当然サーバメーカの協力が必要であり、供給上の SPoF にならないか心配な気持ちになりますが、現在では国内の 3メーカ・ 3箇所でサーバのキッティングを行うことが出来るそうです。
輸送時の衝撃に付いては、実測した上でこの数字なら大丈夫とメーカのお墨付きを得たそうです。エアサス仕様のトラックを使うなどの工夫はしているそうです。個人的な経験からも、手荒に扱ってる自作サーバが壊れてないので大丈夫だと思いますハイ。
ネットワーク機器
残念ながら(?)、大阪 NOC から 10G*2 のファイバーを受けているルータは、コンテナ以外の場所に設置されているそうです。
CWC のコンテナみたいなのをドカッと置くんだったらかっこいいなと思ったのですが。
機器への供給電圧
コンテナへは 200V で給電されているそうです。(正確には 210V ですかね。)他の DC だと 6600V -> 480V -> 100V とかなので、挟まる変圧器が減っているのでロスが目に見えて減っていると推測します。 UPS が 480V だとその辺のメリットは無いので、 UPS も 200V なのか確認しておくべきだった…。
サーバまでのケーブルでロスする分が減るのは言わずもがな。
自作サーバやってた関係で電源のデータシートを取り寄せて見たりしているのですが、 100〜240V のワイド入力な電源では、大抵の場合 200V などの高電圧で給電したときのほうが電源自体の効率も高くなります。その辺もリーズナブル。いまどき 100V しか食えない電源とか無いですし。
短いライフサイクル
コンテナのライフサイクルは5年15年を想定しているそうです。
ブレードサーバのような新しい物理形状をしたサーバが出てくるとも限らないし、それを予測することは誰にも出来ないわけで、コンテナのライフサイクルがサーバ機器に近いぐらい短い、というのは逆に魅力的に見えます。
要らなくなったサーバを外すのも面倒くさいので、コンテナごと工場に送り返して新しいサーバに詰め替えたり、まるごとリース会社に返却出来たら色々便利そう。(そうなると、ヤフオクにサーバの詰まったコンテナが出品される時代が到来するんだろうか…。)
また、通常の DC は 20〜30年の耐用年数があり壊すのも面倒くさいので、それを見越して建設計画などを練る必要があるわけですが、需要に応じて迅速に展開できるコンテナデータセンタは需給予測が楽でよさそうです。というか、サービス事業者の目線からみると、会社の歴史より長いスパンで需給予測を立てるとか無茶なことよくやってるなぁ、と思ったり。
空調モジュールと IT モジュールの分離
初めは、空調機モジュールとラックモジュールが分離していることについて懐疑的だったのですが、隣の空調機モジュールと連結し冷気を融通することが出来ると聞いて、目から鱗。
普通に設計したら冗長度を 2N にする必要があるので、この方法は効率的だと思います。
そう高頻度に壊れるようなものではないと思いますが、空調機のロット不良みたいなことに遭遇しても、エイヤッと空調機入れ替えられるという逃げ道などが選べて柔軟で良い感じ。その気になれば外気導入無しのスタンダードな空調機に入れ替えたり、水冷式の空調機とかにも入れ替えられるわけで、夢が広がります。
ラッキング
コンテナデータセンタは基本的に利用者が立ち入ることはないそうですが、ワーワー言いながらラックにサーバを詰めていた時期が僕にもあったので。
コンテナ内は狭くてラッキングし辛そう。あまり発生しない作業とはいえすげーやりにくそうなので、細くて斜めに回転出来る専用のリフターとか作りたい気持ちになります。
遠隔なのも大変そう。自分も勤務地が京都でサーバが東京にあるという環境なため、月一ぐらいで出張して古い機器のデータセンタ作業を行っているのですが、割とシンドイ。
地元かつ実家があっても、仕事で出張となると最初の数回は楽しいんですが後は疲れるだけでアレなので、地元のスタッフに丸投げ出来る体制を整えると幸せになれそうですね。
妄想の域を脱しませんが、あらかじめ不良率から見込まれる量のサーバを多めに投入しておいて、故障したら電源を落としてそのまま放置、とか出来る体制を整えたりするとより幸せな未来を実現できるのではないかと思います。
サービス事業者として見た場合
サービス事業者としては、手配を初めてから動くまで 3ヵ月ちょいというところに魅力を感じました。普段の業務は 1ヵ月ぐらい先をみてサーバの調達やキッティングを作業・依頼を行っているので、ラック自体の確保などは完全に DC 事業者の営業さんの読みに頼っている状態なのですが、仮に読みが外れて足りなくなってもサーバが 300台詰まったコンテナが 3ヵ月で出てくるというのは素晴らしい。
その他
youtube にコンテナ DC の動画がいくつかアップロードされています。外気温とサーバの吸気温湿度をプロットした動画は必見。
http://www.youtube.com/user/IIJPR
雑感
事前に用意していた質問リストを全然消化出来ていなかったので、質疑応答の時間がもっと欲しかったです。投げつけそこねた質問がボロポロと。
あと、本エントリーはちょこちょこ間違っているらしいのでいたため、間違いの指摘でお手を煩わせるという事態になったため、ボイスレコーダーを持っていくべき。ご丁寧な指摘ありがとうございました。
おまけ
貰ったおみやげに入っていた eco-patch が地味に良い。細い Ethernet ケーブルです。
クロストーク特性が大変よろしくないことが分かっていても、取り回しが楽なのできしめんケーブルを大量に使っていたこともあり、大変魅力的に見えます。
こちらは LaIT サプライで購入できる模様。ちょいと高いですがラック何十本か抱えてる or Network 機器で埋まってるラックがある会社なら、この価格差を上回るメリットを享受出来るんじゃないでしょうか。
https://la-it.jp/supply/item_list/eco-patch.html
ケーブル単体なら愛三でも買えるようです。
http://www.aisan.co.jp/products/slim-cat5e.html
が、ラッキングが専門とかでない限り、リールで買って自分で終端したケーブルは使いたくないので、ネットチャート様にはパッチケーブルの形で愛三にも卸して頂きたいところです。。
AOTPMCES の条長と同じラインナップで 2色、(在庫があれば)愛三クオリティの早さで入手出来る、という条件が揃えばバカ売れするんじゃないでしょうか。たぶん。
http://www.aisan.co.jp/products/setcode_index1.html
