2012-09-30

第3回 データ構造と情報検索と言語処理勉強会 #DSIRNLP でトークしてきました

2012/9/30(日)に開催された 第3回 データ構造と情報検索と言語処理勉強会 DSIRNLP で、最近(個人的に)注目の圧縮ライブラリ、LZ4 に関してトークしてきました。

LT という時間枠でしたので、テーマを絞って LZ4 の速さの秘密について話しましたが、秘密が盛りだくさんで話し切れず。時間をオーバーしてご迷惑をおかけしてしまいました。すみません…

発表資料は以下になります。

私の発表はアレですが、LZ4 を知らない方が結構多い集まりでしたので、今回の発表を機に、もっと利用が広まるといいなあと思っています。

以下、個人的な反省点です。

  • LT で 90 ページ超とか無理があり過ぎるのでやめよう。
  • もっと簡潔に話そう。
  • テーマを絞り込もう。
  • いい加減、発表直前まで資料作成をするのはやめよう。

18:14No comments

2012-08-29

フロント Web サーバで SSL デコードされた HTTPS リクエストを正しくリダイレクトする Play アプリを作る

Play 的に正しいと思われる解決方法が明らかになったのでメモ。Play framework 1.2.5 が対象です。また、フロントの Web サーバは nginx を想定しています。

リバースプロキシと SSL

Play framework を使って開発された Web アプリケーションを本番環境で運用する場合、Play アプリの AP サーバを直接外部に対して公開するのではなく、Apache や Nginx などの Web サーバを前方に立てて、その Web サーバからの HTTP リクエスト(リバースプロキシ)として、Play アプリの AP サーバに HTTP リクエストが到達するようなサーバ構成を取ることが一般的と思われます。

Play に限った話ではありませんが、このようなサーバ構成において SSL (HTTPS) による通信をサポートするとなると、フロントの Web サーバで SSL をデコードし、Web サーバと AP サーバの間を HTTP プロトコルで通信をすることがきっと多いことでしょう。

Play framework でのリダイレクトと HTTPS に関わる問題

ところで、Play framework の play.mvc.Controller クラス (MVC アーキテクチャでいうところのコントローラに相当するもの) には、HTTP ステータスコード 301/302 によりリダイレクトを行う Controller.redirect() メソッドが実装されています。このメソッドを使って redirect("Users.list"); とすると、次のような HTTP レスポンスがクライアントに返却され、その結果、http://localhost:9000/Users/list の URL へのリダイレクトが行われることになります。

HTTP/1.1 302 Found
Server: nginx/1.2.2
Date: Mon, 27 Aug 2012 16:30:14 GMT
Content-Type: text/plain; charset=utf-8
Content-Length: 0
Connection: close
Location: http://localhost:9000/Users/list
Cache-Control: no-cache

この Controller.redirect() によるリダイレクトですが、前述したリバースプロキシかつフロントの Web サーバで SSL デコードをする構成で行うと、リダイレクト先の URL が https で始まる URL ではなく、http で始まる URL となってしまいます。これにより、Web アプリケーションを利用している最中のリダイレクトにより、思いがけず HTTPS から HTTP に切り替わってしまうという悩ましい問題が発生し得ることになります。この問題は、Play アプリとフロントの Web サーバとの間のやりとりが HTTP ベースで行われていることによります。

問題の解決方法

この問題を解決する方法として、

  • フロント Web サーバの設定と Play アプリの application.conf の設定を変更する
  • Controller.redirect() メソッドを呼び出す直前で、request.isSecure = Boolean.TRUE とする
などの方法があります。後者の手段は、フロント Web サーバの設定を変更できない残念な状況の最終手段として残しておくとして、Play 的には前者の手段での対応がおすすめされているようです。そういうわけで、前者の方法について以下説明していきます。

application.conf の設定を変更する

リダイレクト先の URL を生成する Play framework の当該処理の実装を見てみるとわかりますが、スキームを http にするか https にするかの判断は、play.mvc.Http クラスの Http#parseXForwarded() メソッド と Http#isRequestSecure() メソッド の処理結果が強く関係してきます。特に、後者のメソッドが実行されて true を返すような処理となる場合に、リダイレクト先 URL のスキームが https となるので、つまりはそのような望ましい結果となるように条件を揃えてあげればいいことになります。

同式を true にするために変更すべき application.conf の設定は、以下の2つになります。

  • XForwardedSupport=all を追記する ... これにより、Play アプリに渡される HTTP リクエストのヘッダに X-Forwarded-For フィールドが存在すれば、無条件に Http#isRequestSecure() が実行されるようになります。
  • XForwardedProto=https とする ... これを設定することにより、X-Forwarded-Proto フィールドや X-Forwarded-Ssl フィールドの値によらず、X-Forwarded-For フィールドが定義された状況下での Play アプリに対するリクエストを HTTPS でリクエストされたものとして扱うようになります。Web アプリ全体を HTTPS で提供する場合に適した設定となります。
このあたりの設定は実は Play のドキュメント にも書かれています(私は、この内容から今回の目的に対する解決策を汲み取ることができませんでした…)。

nginx.conf の設定を変更する

nginx.conf の設定は簡単で、リバースプロキシの設定において proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; を仕込んであげれば OK です。

解決方法は以上となります。もっとこと細かに HTTP / HTTPS を制御したい、としても、基本は play.mvc.Http クラスの、特に前述した2つのメソッドの実装を眺めれば解決するものと思います。

1:43No comments

2012-08-17

2つの Date オブジェクトで表される期間を Iterator オブジェクトで列挙できるようにしたい。

業務システムとかを開発していると、たまにこの手の処理がしたくなるのですが、

Date date = new Date();
for (int i = 0; i < 10; i++) {
  Calendar cal = Calendar.getInstance();
  cal.setTime(date);
  cal.add(Calendar.HOUR, 1);
  date = cal.getTime();

  // ここに date オブジェクトを利用した処理が書かれる...
}
こんなコードを書きたくない人向けの Iterator / Iterable クラスがこちらになります。


1:54No comments

2012-07-02

新しいお仕事のはじまり

先月末に前職を退職したばかりですが、本日より新宿・代々木にある、とある「分析力をコアとする情報最適化企業」でエンジニアとして働き始めることになりました。新しい仲間のみなさま、これからよろしくお願いします。また、および前職でお世話になったみなさま、これから『も』よろしくお願いいたします。

転職先・仕事について

初めての転職でもあり、ゆっくり時間をかけて、次の会社を探す・・・つもりでしたが、思いのほか早く、いまの自分のやりたいこと(のひとつ)である「ビジネスに近い立ち位置での分析・データマイニング」が実現できる会社を選ぶことができました。

入社後は、まずはエンジニアリングで会社に貢献していくつもりです。データサイエンティストの方々 が、よりよくデータ解析できるように、エンジニアリング面でのサポートもしていきたいですね。幸いなことに(?)、エンジニアリングの分野には楽しそうな課題やこの先取り組んでいきたい技術などが転がっているそうなので、これからの仕事が本当に楽しみです。

もちろんエンジニアリングだけでなく、データ分析の分野にもいろいろと楽しそうな案件があるそうなので、ゆくゆくは分析力をつけて、データサイエンティストな道も狙ってみたいなあ、と、ほんのりと野望を抱いていたりします。

お礼

とてもありがたいことに、今回の退職・転職にあたって、いくつかの企業の方からお話をいただくことがありました。また、知人経由でエージェントの方をご紹介していただくこともありました。その他、勉強会などの場で、転職についてのご相談をしていただくこともありました。

実際に各社のお話を伺わせていただき、それぞれの会社の魅力を知ることで、正直、どの道に進むべきか迷った時期もありましたが、結果として「ビジネスに近い立ち位置での分析・データマイニング」「B2C ・大規模な Web サービス」の二つのやりたいことのうち、前者に注力できるよい環境を持っている・整っている今の会社を選ぶに至りました。

お話をいただいていた企業の方々には、忙しい時間を割いてお話する機会をいただきまして感謝しております。特に某社の S さんにはかなり深いご相談をさせていただきまして、とても感謝しております。

あ、もちろん、入社のきっかけにもなった某オレオの人にも感謝してますよ・・・!

みなさま本当にありがとうございました。それではこれからも(これからが本番ですが)よろしくお願いします。

12:57No comments

2012-06-23

第19回 データマイニング+WEB @東京 ( #TokyoWebmining 19th)-データ徹底活用・機械学習 祭り- でトークしてきました

実に 1 年 4,5 ヶ月ぶり? に TokyoWebmining でトークをしてきました。今回はソーシャルグラフ(social network)における「リンク予測」と、ソーシャルグラフを利用した「レコメンデーション」の2つのネタで話をしました。

ちなみに、発表資料に載せていたソーシャルグラフは TouchGraph を使って描いています。

以下、個人的な反省点です。

  • 発表時間は 80 分でも足りない。100 分ぐらいの時間枠を要求しよう。
  • Random Walk (with Restarts) ネタを振るときは、ちゃんと説明できる準備をしよう (地雷なテーマっぽいので避けてしまうかな…)。
  • 論文紹介をするなら、ちゃんと細かなところまで読んでおこう。
  • 資料作りは早めに取りかかろう…

18:17No comments

2012-06-16

クロスプラットフォーム対応な native extensions gem を作る (1) 環境作り

lz4-ruby という、native extensions (C 拡張) を含む Ruby gem を開発していて、Linux/Windows 両方に対応した gem パッケージを作るのに苦労したので、その内容を備忘録がてらにまとめます。

gem の開発環境構築と、実際の gem 開発に分けてエントリを書く予定です。このエントリは、前者の開発環境構築についてのエントリとなります。

構築する開発環境について

今回構築する開発環境は Linux をベースとし、jeweler により gem のスケルトンを作成、mingw32/rake-compiler で Windows 向けのプリコンパイルされた native extension を作る構成になります。

以下、開発を行う OS、パッケージ、Ruby 環境、gem パッケージのそれぞれについてまとめています。

OS

後述する mingw32 のコンパイル環境を整備する都合により、Ubuntu Desktop の利用を強くおすすめします。CentOS、Scientific Linux などの RHEL クローンな Linux ディストリビューションでも環境構築は不可能ではないと思いますが、おすすめできません(私は途中で挫けました)。以降の説明も Ubuntu Desktop を前提としています。

debian パッケージ

mingw32 のコンパイル環境を整えるために、 として mingw32 パッケージをインストールします。RHEL クローン OS の場合は mingw32-runtime やら mingw32-gcc やら、いろんなパッケージをインストールしなければならなかったり、そもそも CentOS 6.2 向けの mingw32 関連パッケージが揃っていなかったりと茨の道となっているので、RHEL クローン OS で頑張る人は相当の覚悟をもって臨んでください。

Ruby 環境

rvm を導入して、異なるバージョンの Ruby 環境を切り替えられるようにしておきます。インストールは、https://rvm.io/rvm/install/ を参考に、以下のようにします。

rvm をインストールした後は、本来なら実際の Ruby 実行環境の構築(インストール)を進めたいところですが、その前に一つやるべきことがあります。

rvm install ほげほげ で Ruby の実行環境を構築した場合に、標準でインストールされる gem パッケージを列挙・指定する ~/.rvm/gemsets/global.gems というファイルがあります。このファイルをテキストエディタなどで開いて、bundler が記述された行を削除・上書き保存し、bundler が標準インストールされないようにします。この作業は、jeweler が要求する bundler のバージョンと、標準インストールされる bundler のバージョンが合致しないために必要な作業になります。

global.gems のファイル編集が済んだところで、実際の Ruby 環境を構築します。以下のように、1.8 系と 1.9 系の最新バージョンをインストールします。

gem パッケージ

下記 2 つの gem パッケージを、gem コマンドを用いてインストールします。

  • bundler
    Gemfile を用いた、依存する gem のインストールや各種コマンドの実行に必要
  • jeweler
    gem のスケルトン作成に必要

前者の bundler は、1.8 系、1.9 系の両方にインストールします。インストールする bundler のバージョンは、1.0 系の最新版とします。

jeweler は 1.8 系、1.9 系の環境どちらにインストールしても構いません(開発の主体となる Ruby 環境にいいれるといいでしょう)。

rake-compiler については bundler 経由でのインストールとなるので、ここではまだインストールはしません。

以上で開発環境の構築は終わりです。次のエントリで、実際に gem を開発する作業について記述します。
15:57No comments