「詳解 Apache Spark」を共著で執筆しました (ので、みなさんぜひご購入ください！)

はじめに 昨年の秋ごろから、リクルートテクノロジーズの石川有さんらとともに共著で執筆していた「詳解 Apache Spark」 が遂に本日 4/29 に、技術評論社より発売となりました！ なお、発売に先立って出版社および共著陣より献本させていただいた方々から、ありがたいことに書評や感想をいただいております。ぜひご購入の際の参考にしていただければと思います。 豊富な具体例，DataFrameの詳細な説明，Spark1.6で導入された機能の説明，統一感のある文体・構成など，データ解析者にも得るものの多い素晴らしい書籍でした！...

Read More →

OS X で XGBoost ＆ xgboost4j をビルドする手順 2016-03-07 版

追記: 2016-09-27 最新のビルド手順は こちら に記載しています。 いつのまにやら XGBoost のビルド手順が変更されていたので、メモしておきます (と言っても、 Installation guide に書いていることをほとんどそのまま日本語に直しただけですけどね)。 リポジトリの clone 手元に XGBoost の git リポジトリが存在しない場合は、以下のコマンドで submodule 含めて clone してしまいましょう。 git clone --recursive https://github.com/dmlc/xgboost もし手元にリポジトリが存在する場合は、 git pull したのちに git submodule init git submodule update として、submodule を手元に持ってきます。 XGBoost...

Read More →

エンジニアと機械学習、そして自分自身の振り返り ( #CROSS2016 に登壇しました)

2/5 (金) に開催された CROSS 2016 の「おーい、いそのー、エンジニアにとっての機械学習について考えようぜー！」というセッションにパネラーとして登壇してきました。セッションの内容はリンク先からの引用になりますが、 「機械学習は興味あるが、身に付けるためには何が必要？」 「機械学習を学ぶためにはいったい何からはじめればいい？」...

Read More →

弊社主催のイベント #SmartTechNight で、広告の配信最適化について喋りました

僕は最近こんなお仕事をしているんですよー、という意味をこめて喋りました。 機械学習だけが「アドテク」じゃない。最適化も重要なんだよ、という気持ちで。 SmartNews TechNight Vol.5 : SmartNews Ads の配信最適化の仕組みはどうなってるの？ (エンジニア / SmartNews Ads :...

Read More →

Spark/MLlib 向けに、評価メトリクスとして Logarithmic loss (LogLoss) を利用する Evaluator を実装してみた

ロジスティック回帰を使って確率を予測したいときに「評価メトリクスとして使いたいのは AUC (areaUnderROC) じゃなくて Logarithmic loss (LogLoss) なんだよ！」と常々思っているのですが、現在の MLlib には二値分類 (BinaryClassificationEvaluator) 、多クラス分類...

Read More →

xgboost4j より数千倍速く predict できる Pure Java な XGBoost 互換の予測器を作ってみた

TL;DR XGBoost で構築した予測モデルを Java から利用したい、それも特徴ベクトルが一つ一つ、任意のタイミングで与えられるような オンライン環境下 で リアルタイムな予測 を実現するために利用したい、という目的を叶えるためのモジュールを作りました。 Github: komiya-atsushi/xgboost-predictor-java Bintray: xgboost-predictor (XGBoost の凄さとか XGBoost そのものの使い方とか GBDT/GBRT の解説は本エントリにはありませんので、そのような情報を求めている方は他のブログエントリを読まれることをおすすめします。) xgboost4j という選択肢 Java から XGBoost を利用しようとすると、XGBoostをJavaのwrapperを使用して実行する - TASK NOTES にあるように、DMLC...

Read More →