AWS SUMMIT Tokyo 2012に行ってきた

残念ながら、今後も業務でAWSどころかクラウド全般を使うメドは全く立たないものの、個人的興味の一心で「AWS SUMMIT TOKYO 2012」（2日目）に参加してきました。

参加セッション
1. 基調講演 Day2 ：Go Enterprise!／長崎 忠雄氏
2. ランチセッション 今更聞けないAWSクラウド入門／堀内 康弘氏
3. クラウドデザインパターン#5 CDP バッチ処理編／大谷 晋平氏
4. ソリューションセッション#5 AWSで構築する仮想プライベートクラウド／荒木 靖宏氏
5. ソリューションセッション#6 クラウドTCOの真実／玉川 憲氏

休憩中に顔出したスポンサーのセッションが若干押して、その後のメインセッションが満席になってしまったり、病み上がりが響いてナイトセッションはパスしたりと、自分のせいで思ったように行かない部分もあったものの、参加したセッションはどれも貴重な勉強の場になりやした。（特に後半の4、5のセッションは、VPCの使われ方やトータルコストの算出方法など、身近な疑問点が色々と解消されてタメになった。）

　＃各セッションのスライドが公開されてきたら改めてコメントしようかな。

上の本は、書店ブースのオライリーコーナーで先行発売していた「Amazon Web Services プログラミング」。これ読んでAPIから操作できるようになりたいっ！

つう訳で、とりあえず風邪で体調最悪なので今日はもう寝ます....

naoki_kanaya's photostream

naoki_kanaya's photostream on Flickr.

先月、SIGMA DP2 Merrillを手にしてから写真を撮るのが楽しい楽しい。

AWSでGlusterFSをかじってみた。

先日、Linux女子部主催の勉強会に参加し、GlusterFSの手ほどきを受けてきました。

「新定番！10年効く注目の技術 「分散ストレージ技術 GlusterFS」
〜AWSクラウドではじめてみよう〜　

内容
 　「10年効く分散ストレージ技術・GlusterFS＆Red Hat Storage」
講師：レッドハット株式会社 中井 悦司 氏 @enakai00
「AWSクラウドではじめるGlusterFS」
講師：株式会社アマゾンデータサービスジャパン　片山 暁雄 氏 @c9katayama

GlusterFSというのは、手持ちの様々なLinuxサーバの空き領域を活用する事ができるファイルベースでの分散ファイルシステムで、メリットとしてはサーバを追加して簡単にスケールアウトできることと、ファイル単位での分散FSのため、多数のユーザが（それほどサイズは大きくはないが）大量のファイルをドカーっと上げるような時に、通常、極所的に集中してしまいがちなネットワークやサーバの負荷を比較的容易に分散できるといった辺りのようです。勉強会の後半では、実際にAWSを使って複数の海外リージョンを跨いで組むようなデモも見せてくれました。遠隔地への非同期レプリケーションも可能なので、バックアップやディザスタリカバリ用途にも向いてます。

技術的な概要とインストール手順の把握は、上のスライド２つと中井氏が急ごしらえで作られたという技術情報サイトを見れば、ほとんど躓くことなくセットアップする事ができると思います。自分の場合はGlusterFS云々以前にAWSをろくに使ったことが無いというレベルだったので、まず1台の素の環境を作るまでに10回ほどインスタンスを作り直しました…。必要最低限のAWSの使い方（EBSを付けたLinuxインスタンスの作成）が分かってからは躊躇せず出来たので、講師のお二方に感謝しつつ、今後、応用技を試していきたいと思います。（今の業務的には大量データの負荷分散というよりは、バックアップやDR方面での活用の方が現実的かなー；　そんなにデータ無いし...）

GlusterFS関連リンク
・GlusterFS技術情報
・勉強会資料１「10年効く分散ストレージ技術・GlusterFS＆Red Hat Storage」
・勉強会資料２「AWSクラウドではじめるGlusterFS」

小ネタ：Mac OS X 10.8(Mountain Lion)でWiresharkを起動する手順

昨晩、OS Xの新バージョン10.8こと Mountain Lionがリリースされたので、手持ちの2011年モデルのMac Book Airに早速インストールしてみました。リリース直後とあって決済とダウンロードに手間取ったものの、ダウンロード後のインストール処理は３０分程度で難無く終了。App Storeからインストールしたアプリは何の問題もなく起動し一安心したのですが、パケットキャプチャツールの定番Wiresharkを起動したところ、以下のメッセージが表示されました。

Mac歴の浅い私はこんなことでもヒヤリとします。そういえば、Lion時代もWiresharkを起動するとX11も一緒に立ち上がってたな....こいつがないと起動しないのか...という事で、以下、ほとんど指示されるがままにX11をインストールした際のキャプチャを、誰の役に立つか分かりませんが載せておきます。

上記メッセージの「続ける」をクリックすると、Appleのサポートサイト(US)に接続します。（http://support.apple.com/kb/HT5293）

ページ上位にある、「XQuartz project」へのURLをクリック。

XQuartz projectトップページにある、インストールファイルのリンクをクリック。

ダウンロードが終わったら、dmzファイルを実行しインストールウィザードに従いXQuartzをインストール。

 インストールが完了すると、以下のメッセージが表示されます。
再ログインしなさいな、という事のようですが、私はうっかりOS再起動をしました。
（再ログインでもOSリブートでも特に問題ないと思われます。）

再起動（再ログイン）後、Wiresharkを起動してみると、、「Where is X11?」と表示され、X11の場所を教えなさいなと表示されました。XQuartzのデフォルトのインストール先は「アプリケーション > ユーティリティ」内にありますので、それを指定したところ、無事に起動しました。

めでたしめでたし.....。

改めて見返してみても、特になんて事のないものでしたが、、せっかく画面キャプチャ取ってしまったので、、、

ちなみに、10.8からOSのアプリケーションに対するセキュリティが強化され、最も厳しいものは「AppStore経由以外のアプリは起動しない」なんて設定もありますが、X11上で起動するWiresharkは制限の対象外のようです。X11とOSとの関係を良く知らないのですが、X11上で動作するアプリは一律そうなのかも。

4月もおしまい

今月の後半は、殆ど二日に一回のペースで勉強会に参加した。普段の業務と距離のある分、かえって多くの刺激を受けた気がする。そして、逆に興味の赴くままに視野を広げすぎるのも、収集が付かなくなって消化不良に陥るなという事も身を以て実感した。（そんな状況でも、OSSDB Silverを無事に取れたので結果オーライだと思ってる...）


参加した勉強会
4/18(水)　CloudStackユーザ会(CloudStack勉強会) - 第7回
4/20(金)　Oracle Solaris ナイト・セミナー＃２
4/24(火)　Twitter API勉強会
4/25(水)　OpenStack勉強会


どれも、かーなり濃い勉強会だったのは間違いない。Cloud Stackは、ちょうど少し前にAFSへの譲渡が発表されたばかりで、Citrix社のエンジニアがAFSプロジェクト化の影響や今後のロードマップを丁寧に説明してくれた。丁寧な同時通訳もあって、打倒VM Wareという勢いだけは分かった。Solarisナイトでは、Soralisユーザーでもないくせに最新ZFSの勉強をさせてもらった。そして、青山のオラクルのオフィスを見て、さすが金のある会社は違うと唸った。週明けて資格合格の翌日に行ったTwitterAPIの勉強会では、帰りすがら出来もしないのにAPIリファレンス本を買ってしまうほど、流行りのサービスの熱っぽさに感化されてしまった。しかし、ただ浮かれただけではなく、おすすめユーザーをひたすらフォローするアプリを作りたいと密かに思っていたのは規約的に全く許されない事（自動フォローは総じてNG）だと分かったのは収穫だった。ラストのOpenStackは、前週にライバル？のCloudStackの決起集会に顔出しといてどうかとも迷ったが、日本仮想化技術(株)の宮原さんが講師すると知り、これはと補欠からの繰り上げで参戦。丁寧なインストール手順と苦労話を聞いてすっかりOpen Stack色に染まった。まとめると、CloudStackは敷居が高そうなので、OpenStackをZFS環境でインストールし、その上でTwitterの何かしらのアプリを作ると綺麗に話しが繋がるかも知れないと思ったが、当面の目標のOSSDB Gold を取るまでは馬鹿なマネは止めておこうと考えている。

第７回「ネットワークパケットを読む会（仮）」

@hebikuzreさん主催の「ネットワークパケットを読む会」に参加してみた。

Windows8のCP版をもとに既存のキャプチャツール群の動作確認をレポートする話（スライド）だったり、某VPSのネットワーク構成をキャプチャを通じて推測し、さらに問題点を指摘する話など、業務的にも興味分野的にもドハマりな勉強会だった。今後、定期的に参加したいと思うし、hebikuzreさん主催のもう一方の「ブラウザー研究会」も、次回はMSの手厚いバックアップがあるらしいので、是非参加してタダ飯を頂きにあがりたいと思った。

しかし、携帯ゲーム機のキャプチャすると、いろんなコトが見えるもんですね...

Tech Lion vol.6 まつもゆきひろ氏、他

たまにはこの世界の有名人に会ってみたいぞという至極ミーハーな動機で、USP研究所主催のトークイベント「Tech LION vol.6」に参加してきた。今回のメインゲストはRubyのパパこと、まつもとゆきひろ氏。先日、氏が2011年のFree Software Awardを受賞したというニュースを見ていた事もあって、ひょっとしてRubyistの祭典のようなイベントになる！？と若干躊躇したものの、行ってみたら得るものの多い、まあ素敵なイベントでございました。

イベントの詳しい様子は、togetterや二忍さんのブログが良いかと。


以下、個人的な覚え書き。


まつもとゆきひろ氏（Rubyのパパ）
　テーマにも挙げた「１０年後も勝負できるプログラマー」であるには、数学、コンピュータサイエンスに基づいた考え方（新しいトレンドを取り込む柔軟な姿勢も含め）、コミュケーション力、継続した行動力と名声w（肩書きではなく、個人としての他人の評価）が大事ではないか。
　普通の人が自分できる事を長く続け、他人から評価されることで普通じゃない人になる事ができるのではないか。


後藤大地氏（FreeBSDコミッタ）
　とにかく英語、英語、英語。欧米のBSDCanで語学力の無さを痛感し、あの手この手で勉強した。（ハリーポッターの原著読みが大失敗だったので、日本漫画の英語版で勉強したとか、カシオの電子辞書に頼ったら変な訛になったとかw）　←海外で七転八倒しながらも、へこたれない姿勢に感動した。


角俊和氏（CloudCoreの中の人）
　「自分たちが使いたいものを作る」とした事がうまく作用し、実質５ヶ月でVPSを作り上げる事ができた。「何を作るか」より「誰が使うか」を考えることが大切。VPSのユーザーは、一番身近な"自分たち"だったので、うまく運んだのではないかと思う。


閑歳孝子氏（iPhoneアプリ「Zaim」作った人）
　プログラマーでは無かったが、29歳になって今までのくすぶりがバネとなり、自分で開発するようになった。「影響の深さ」と「影響する人々」が大きいほど良いサービスと定義し、少なくとも自分自身や身近な人（母など）が使えるようなものを作るよう心がけている。（iPhoneアプリ首位の「Zaim」にも繋がっている）

OSS-DB Silver 技術開発セミナーに行ってきた

体系的にPostgreSQLを学びたくて、最近、OSS-DB Silverの本を読んでる。せっかくだし資格も取るかなあ、面倒くさいなあと思っていたところ、資格に関するセミナーがあるというんで参加してきた。


『OSS-DB Exam Silver 技術解説無料セミナー』＠東京 4/8（日）
http://www.oss-db.jp/news/event/2012/04/event_20120408_01.shtml

元オラクル開発者でもあるLPI-Japan松田氏の講義は試験対策にとどまらず、他のRDBMSとの違いを丁寧に説明してくれて、大変勉強になった。試験のポイントもよく分かったので、ちゃっちゃと取っちゃおうという気になった。


ちなみに、週末の天気の良い花見日和のなか数十名の受講者が集まっていたけど、使用DBの比率としてはオラクル使いが最多であった。自分のようなポスグレ使いは意外にも少数。オラクル離れ進んでる？

PostgreSQL Conference 2012のユルい参加レポ

仕事でPostgresqlのホットバックアップを組もうとして色々調べていたところ、偶然カンファレンスの告知を見かけたもので、これはちょうどいい機会と参加してきた。

午前中のセッションの内容については、以下のログが分かりやすい。（有り難く拝見）

PostgreSQL Conference 2012-02-24 at 品川−そこはかとなく書くよ。

ランチセッションは外で食べてて聞いてないので、ここでは午後に聞いた話しの自分なりのポイントを残しておく。

＃難しい話しはよく分からないので、ずっとチュートリアルセッションにいたw

■参加したセッション

【 C1 】「OSS-DB 標準教科書」を活用した PostgreSQL 初心者教育を考える

（標準教科書開発プロジェクト　宮原 徹）

【 C2 】PostgreSQL アーキテクチャ入門

（アップタイム・テクノロジーズ合同会社　永安 悟史）

【 C3 】PostgreSQL 運用テクニック・レベルアップ編

（NTT OSS センタ　坂本 昌彦）

【 C4 】安全な SQL の呼び出し方

（HASH コンサルティング株式会社　徳丸 浩）

■各セッションの自分なりのポイント

【 C1 】「OSS-DB 標準教科書」を活用した PostgreSQL 初心者教育を考える

（標準教科書開発プロジェクト　宮原 徹）

・初心者にOSSの技術を教える際の良い教科書がない。
・良い強化書とは、、基礎の基礎を解説／実行例や実習が多め／講義の時間や回数などを考慮→無いので作った。
・LPI Japanの全面バックアップの元にプロジェクト始動。
（Linux標準教科書などに続く4冊目としてリリース）
・入力関係はすべてコピペできるよう配慮している。
（2行目のプロンプトをあえて表記していない等）
・章構成もいきなりSQLを実行するところから。
（現場で講師役が環境構築をしているという前提で。環境構築手順は巻末）
・EPUB版も興味本位で作ってみたものの、日本語対応にはまだ難がある。

・基本情報処理試験などとのマッピングは考慮していない。
（質疑応答の中で、現役の講師の方からこの辺りのリクエストがあった。）
・正規化は諦めた。
・応用編もいずれ作りたい。

【 C2 】PostgreSQL アーキテクチャ入門

（アップタイム・テクノロジーズ合同会社　永安 悟史）

・PostgreSQLの基本構造（プロセス、メモリ領域、ファイル）
・発生する3種類のI/O
RW:テーブルファイル
R:インデックスファイル
W:トランザクションログ（WAL）
・クエリプランの確認方法
EXPLAIN
−最適であると判断された「クエリプラン」を表示
EXPLAIN（ANALYZE）
−「クエリプラン」に加えて、「実行結果」を表示
−実際に、どのアクセスにどの程度の時間がかかっているのか、何件の処理をしたのかなどを表示
EXPLAIN（ANALYZE,BUFFERS）
−上記２つに加え、「バッファアクセス」を表示

GUIツールで確認（pgAdminⅢ）
−「クエリー解釈」＝EXPLAIN
−「アナライズ解釈」＝EXPLAIN（ANALYZE）
・シーケンシャルアクセスとランダムアクセスについて
・パフォーマンス改善手法（可視化→分析→対策）
−可視化のツール：pg_statinfo、pg_reporter
−分析のツール：pgFouine
・バックアップの手法
・冗長化の手法

【 C3 】PostgreSQL 運用テクニック・レベルアップ編

（NTT OSS センタ　坂本 昌彦）
・pg_rmanがすごい！
−簡単にオンラインバックアップが可能。
−簡単にリストア（PITR前準備）

−複数世代管理
−増分バックアップ

・紹介ツール（デモ）
pg_statinfo
−性能情報・各種統計情報をWeb画面より確認可能
−内部状態をチェックし、アラート発出が可能
pg_reorg
−参照、更新を妨げずに、表、索引を再作成する。　
※VACUUM FULLしたいけど、止められない時や、
REINDEXしたいけど、止められない時に有効。

pg_rman
−コマンド一つでオンラインバックアップを取得する。
−コマンド一つでPITRの前準備を実施する。
※商用環境での導入実績はまだゼロとか。

pg_bulkload
−データを高速にロードする。
※データロード時間を少しでも早くしたい時、
ロードするデータに何らかの加工をしたい時。（ETLツール）
最近は、本体だけでも随分速くなってきたので、後者の方がメリット大きい。

【 C4 】安全な SQL の呼び出し方

（HASH コンサルティング株式会社　徳丸 浩）

・内容は、IPAの「安全なSQLの呼び出し方」や、 徳丸本を参照されたし