お名前.com、さくらのVPS等のサーバーでの開発・設定メモ

　我が家のメインサーバの消費電力を計測してみた。

メインサーバ　SV04
構成
ベースユニット
HP Proliant ML110G7
CPU PentiumG840
MEM PC3-12800E UDIMM 4GBx2
HDD Savvio10k3 x 2, ST3000DM001 x 8
RAID Controller ASR-5805, ASR-2405
TAPE IBM LTO4
VGA Radeon HD6450/1GB
NIC Mellanox InfiniBnad Controller
Power Corsair HX750 80plus Gold

　ASR-5805からST3000DM001を接続しRAID5構成、ASR-2405からSavvioを接続しRAID1、ついでにLTO4に接続。
　EIST有効、ドライブアイドル時スピンダウン有効の設定で構築。　電源は本来もっと小容量の物の方が変換効率が良いのだが、手持ちの作業マシンのお下がりなので・・・

・高ロード時の消費電力
RAID5上の重複排除ジョブを実行しつつ動画再生　＞　160W

・低ロードアクティブ状態
RAID5にGbE経由のファイルアクセスを継続　＞　120W

・待機状態
RAID2本ともスタンバイ状態　＞　60W

　待機状態の消費電力内訳を分析
メインボード系 6W
CPU 13W
MEM 9W
カード類 14W
ドライブ類 13W
冷却ファン 5W

　SavvioをやめてBC-SATAドライブに切り替えてオンボードSATA接続にすれば、5W位の電力削減が望める。　また、LTO4もファイルサーバ側にライブラリがあるので、取り外しても問題ないため、3W位の電力削減が可能。
　しかし、トータル10W程度ではいくら電気代が高くてもなかなかペイ出来ないのも事実。
　資金の投入による省電力化で一番効きそうなのは、やはりメインボード周りの部分。　パワー的には現状のCPUでも事足りているので、やや性能は下がるものの消費電力で定評のあるAtom C2500シリーズに交換すれば、アイドル時の消費電力はメインボード・CPU・MEMセットで10W付近に収まり、現状の半分以下、更に高負荷時には+10W程度で収まるため、システム全体としては120W付近まで下げることが出来る。　まぁ、それでもHDD10台搭載している時点でなかなか低消費電力というのは難しいかもしれない。
　現状で言えば、ML110G7は幸い、iLO3機能でLAN上から電源操作も可能だから、普段はシャットダウンしておいて使うときだけ電源を入れるようにしてしまうのが一番の省電力化になりそうだ。
　ちなみに、電源を切ってもiLO3が生きているため5W位は電力消費があるのが難点。

(409)

Tweet

　IXシリーズルータを2台動かしているので、SNMP経由でMunin監視するためのプラグインを作成しました。
　今回は、1本目として標準プラグインのSNMP:CPU Loadを改造したIX用プラグインです。

　snmp_ルータのホスト名_ixloadとかの感じでpluginsディレクトリに置いてやってください。

(473)

Tweet

　我が家のVPNトンネリングの基本形態は、LANとVPSの間の通信暗号化で利用しています。
　RTXでの設定については以前の記事で書きましたが、先日導入したIX2025での設定について、我が家の利用形態(グローバルIP1本のサーバとLANのトンネリング)での設定例が見当たらないためここにメモっておきます。

　設定するトンネルはTunnel0.0、外はFE0/0.1で中はFE1/0.0です。　PPPoE固定IPグローバル1本のアクセス回線でNAPTを利用している前提でFE0/0.1にスタティックを設定してます。
　このメモではVPSのIPの代わりに8.8.8.8と表記しています。　同じく共通鍵について*SECRET*と表記しています。　それぞれ、環境に応じて適切な値を設定します。
　Windows側の設定については、RTXにて設定時の記事に同じです。
　基本的なIPSecの設定はIX設定例に従っていますが、最終的にポリシールーティングを使ってローカルとVPS間の通信をトンネル上に乗せています。

　onamae-ipsec-aclはIPSec受け入れ用のACLです。
　local2onamae,onamae2localのACLが通信をトンネルに乗せるためのACLです。　ローカル空間192.168.0.0/24からVPSのグローバル8.8.8.8/32を乗せる設定です。
　プロポーザルはPhase1/Phase2ともに3des-shaです。
※WS2008(Vista)以降ではPhase2のライフタイムはBothで有る必要があります。

　ルーティング設定をしていない状態でルータコンソールのshow ike sa, show ipsec saにて適切なSAが確立出来ていることを確認します。
　ルーティング設定を乗せる前の段階でtraceroute 8.8.8.8すると、通常のグローバルネットワーク経由の経路が表示されます。　乗せた段階でtracerouteすると、ルータのローカルIPの次が8.8.8.8になります。　これにより、トンネル上に通信が乗っていることが確認出来ます。
　お名前.com VPSとフレッツ光回線にZOOT NEXTの固定IPサービスを利用した状態でWindowsファイル共有のスループットが7.5MB/s（IPSec外側で80Mbps程度）出る状態です。
　NECのUNIVERGE IX2025につていは、8.11.11のファーム適用でアイドル時のCPU負荷は8％、上記通信状態で79％程度でハードウェア上限がFEであることを考えると、そこそこの設定のIPSecでは帯域いっぱいまで利用可能で、ちょっと複雑なフィルタ等を乗せても大丈夫そうです。
　最近のNASほどスピードは出ないものの、FE環境や150Mbps無線LAN(11n single)環境であれば十分なスピードで、TS録画の再生にも耐えるスピードです。　NASを常時稼働すると電気代が1000円くらいはかかることを考えると、常時必要なドキュメントなどはVPSに乗せてしまって、高速大容量が必要なときだけUSB外付けHDDを使うなどの利用がコストパフォーマンス的に良いですね。

(591)

Tweet

　最近、自宅の管理サーバであるBeagleBoneのロードアベレージが常時2くらい有る。　あれ自体は1コアなんで、常時オーバーロードという感じ。
　原因はわかっていて、Muninの監視が重い。　自宅にはSNMP対応のルータ3台、スイッチ2台が常時稼働していて、これらをBBBで監視しているから重いんだ。
　まぁ、本来のBBBの目的は環境監視であって、SNMP監視なんかはついでに追加したものなので、この辺の機能を別機材に移そうかと思う。
　目についたのは古いATOM端末でCPUはZ520。　試しにCentOS x86 6.5を入れてUnixBench計測・・・ドライストーンのインデックスが350程度で、BBBと大差ない。　それでいて消費電力9Wなんて、使う気起きないわ・・・

　結局、1台新しいマシンを組むことにした。
　条件的には、AMDの低電力APUかAtomになるんだけど、最近のベンチを見るとCeleronJ1900が良さそうだ。
　CeleronJ1900はAtom系列BayTrailのコアを採用したデスクトップ向けCPUで、2GHz/4コアでTDP10W、x64対応、Celeronブランドのため拡張機能に殆ど対応せず、VT-xとQSV対応ぐらい？
　しかし、パワーはかなり高く、マルチスレッド性能はCore2Duo E6700より上(あっちは2コア、こっちは4コアだから、コアのクロックあたり性能は0.8倍くらい)で、ホームサーバ用途ならかなり期待出来る。　っていうか、これでVT-d対応してくれていればXenとかで仮想化して、メディアセンタとサーバを同居させることも出来るのだが・・・
　この場合は、Windows8.1U1入れてメディアセンタにしてVMwareでサーバを同居させるしか無いか。
　ボードとしてはギガバイトの製品がデュアルLAN、シリアルポート2本と、鯖遊びようには良い感じ。
　メモリはDDR3L SODIMM対応だがLは手持ちに無いので、DDR3-2GBx2にminiPCIe SSDを乗っけてWindows8.1U1入れてVMwareに50GB位割り当ててMunin用サーバ化しようかな。　これなら、常時10W位の電力で動くだろうし、デュアルLANならvyattaでGbEルータ化したりも出来て後々使い回しが効くからな。

(204)

Tweet

　最近はノートPCなんかにもGbE(1000Base-T)のLAN環境がありますが、最近の記憶デバイスの高速化で案外足を引っ張ります。
　以前はSATA HDDなんかだと100MB/s位だったので、GbEでちょうど良いバランスだったのですが、最近のSSDでは500MB/s超もざらだし、我が家だとSATA HDD x 8のRAID5/6なんかは600MB/s位出るのでLAN経由でコピーしたりするとなかなかアンバランスになる。
　400MB/s位までならGbEを4本束ねることで対応することも出来るけど、オンボードのNICは2本が相場だからDualかQuadのNICを挿さないとダメだし配線も増える。　結果的に、10Gbのホスト間接続を用意するのが良さそうだ。

　いつものサーバ屋で未検証のInfiniBandアダプタ(SDR)が安売りしていたため、これを2本購入して来た。
　InfiniBandはHPCのインターコネクトで使われる高速インタフェイスで、今回のボードはSFF8470(CX4)端子がデュアル搭載の物なので、当初はストレージサーバ2台間を直結しておいて、InfiniBandファブリックの環境が出来たら残りの1ポートをファブリックに繋いでやりたいところ。
　しかし、銅ケーブルは上限が10m台の上に太くて硬いので家の中で使うにも配線困難となるため、実質、ラック内のサーバ間コネクトとしてファイルサーバとバックアップサーバを常設接続して、ドライブバックアップ用の端末をオンデマンド起動してバックアップサーバとコネクトする程度になるだろう。

　ケーブル自体はSASのSFF8470ケーブルがコンパチなので、以前のテープライブラリ接続に使っていた3ftケーブルで接続実施。
　Windows2012R2サーバに挿すとそのまま認識したので、後はOpenSMを導入してやるとLANのプロパティが8.0Gbps表示になった(InfiniBandはワイヤーの帯域に対して実データが10:8の為)
　IPをバインド(IPoIB)してファイル転送してみるとSSD=SSDのファイルコピーがLAN経由なのに470MB/sとか出て、SATA直結と大差ない高速性を発揮。　この辺は、さすがハイエンド向けのインタフェイスだけ有る。

　現在はInfiniBandもより高速な40Gとかに主戦場が移っているので、10Gは型落ちとして市場に出始めているので、2PC間で高速データ転送を実現したいなら、この辺の中古機材を乗せるのもアリな選択だろう。
　一般的なLANメディアのツイストペアケーブル利用の10GbE規格である10GBase-T対応NICは最近では4万円あたりまで降りてきているのと、対応スイッチも10万円台にいるので、もう少しボリュームが膨らめば新品で構築も出来るようになるだろうが、現状では少ない台数ならCX4直結が一番安い方法だろう。

※表記が10Gbと10GbEに揺れているのは、GbEのEはEthernetだが、InfiniBandはEthernetと同じレイヤーの規格なので10GbIB(2.5Gb 4レーンIB)となる為

(222)

Tweet

　先日設定したIX2025がなかなか良かったんだけど、所詮FEルータであって、最新の高速光アクセスで使うにはやや残念感もある。
　そんな中で、今回、同じIXシリーズのIX3010を友人から譲って貰った。　IX3010自体はFEなんだけど、拡張スロットにGbEユニットが装着されていた。
　GbEユニット自体はSFPとかじゃなく、Intelコントローラが乗った独立モジュールで専用品らしい。

　実用化出来るか、GbE2本をアップした状態で電力測定、約18Wで動作した。
　この消費電力ならFortigateを停止してしまえば置けないことも無いだろうと言うことで、色々設定と改造。
　改造点はコントローラの冷却強化とファンの静音化。
　CPUはMPC8280の450MHzでヒートシンク無し設計で実際それほどの熱はないのだが、今回、ファンの静音化にあたり38x38x20のアルミヒートシンクを取り付けた。　また、GbEコントローラは発熱がかなりあり、これはデフォルトでも冷却強化した方がよさそうな状態、同じヒートシンクを取り付けるとヒートシンクも60度弱程度まで上昇していて、発熱のヤバさを感じるため、追加で30mmの小型ファンをサイドフローで取り付け実施。
　サイドにある1機のファンはかなり耳障りな音量で、これを解決しないと寝室設置はきつそう。　見ると定格5Vになっていたので、12V仕様の40mmファンを繋ぐとゆるゆる回ったためこれに交換。　後は電源ユニットにファンがあるが、これは後部設置だし音もそれほどでも無いのでそのままとした。　しかし、ファンの回転数検知でALARMのLEDが点灯してしまいイヤなので、AVRマイコンでPWM出力して正常回転のフリをさせた。

　そんなわけで、寝室運用可能な状態に持ち込んだIX3010を早速設定開始。　シリアルポートの電圧がイマイチで、普段のUSB変換ケーブルでは通信出来ず、古いThinkPadX30を引っ張り出してウルトラベースのシリアルポートから全結線ストレートで接続(RTS/CTSの結線が必要なので全結線じゃないとダメだった)
　インターフェイスはFE0/0-1,GE1/0-1の状態で認識、しかしこいつのGbE側はケーブルの相性がうるさいようで、GS724Tと接続すると、安売りCAT5eではイマイチ1Gリンクが安定せず、有名メーカーCAT7で接続して安定した。
　GE1/0を外用VLAN、GE1/1を内部用デフォルトVLANに接続してPPPoEでInterlinkへ接続させる。　スピードテストサイトで測定すると、Down193/Up98Mbpsの結果となった。　我が家はNTT東のハイスピードなので定格200/100なので、ほぼほぼMaxのスピードが出るようになった感じだ。
　東でもビジネス用フレッツで1Gbが始まったがまだ4万以上するし、その値段差ならBBIXのv4 over v6サービスを使った方がトクだ。　IXシリーズならv4 over v6は問題なく処理出来るし。
　と言うわけで、通常のアクセス用としては十分高速なルータが導入出来た感じだ。　ファームがやや古くL2TPに対応出来ないため、リモートアクセスの受け入れには使えないがIPSecは相変わらず高速なので、こちらをメインのゲートウェイにして、リモートアクセス受け入れにIX2025を利用すれば良いだろう。
　例によってVRRPのメンバー化したため、設定いじり放題、ダウンしてもすぐにIX2025が立ち上がってくるので良い感じだ。

　IX3010用GbEモジュール2GE-Tの発熱について・・・
　乗っているのはインテルのサーバ用デュアルポートコントローラの82546GB
　データシートによると、環境55度まで動作可能で接続部の最大温度は125度、最大発熱量は1.2Wに達する。
　今回搭載したヒートシンクは8K/W程度なので、周囲温度に対して1.2Wで約10度上昇するため、周辺回路の発熱分と筐体内温度40度程度を考慮すると無風で60度弱は妥当なところだろう。
　しかし、MPC8280についてはパッケージが大きい点を考慮しても温度上昇の小ささはさすがのFreeScaleと言う感じを受けるな・・・

(700)

Tweet

　先日ネットワーク機材のリプレースで省エネ化を図ったわけですが、結果、冬でも暖房いらずだった部屋がこの時期でも肌寒くなりました。
　データセンターとかだと機材の発熱量と冷却の計算を専用ソフトでやったりするけど、自宅規模だとだいたいどれくらい変わるんだろうなと計算してみました。
　省エネ化で減った電力平均120W/h、ざっくりで100kcal/hの発熱、部屋は8畳間に物があるので25m3の空気容量としてみると空気の比熱容量が0.288kcal/m3だから7.2kcalで1度上昇、13.8度上昇する位の熱量が減ったわけで、そりゃ寒いわ！
　ホームモニターの温度監視を見ると、従来環境時の平均温度(先週)が37度、新環境での平均温度(今週)が29度でその差8度。　平均外気温が21度だから外気温30度くらいまでは冷房無しでも機材運用可能な感じになるのかな。　窓開けて扇風機を置けば真夏もギリギリいけるかもしれない？　従来だと、外気25度で40度越えして要冷房だったのだから、120Wの省電力化は効果大きいな。

(146)

Tweet