３週間ぐらい前かつ発表前後は業務的に憤死しててもおかしくない時期ではありましたが、ありがたいことに主催者の @overlast さんから今回の発表オファーを頂いたしせっかくだから何か話そう、と心に決めて、いまの会社 でのお仕事でよく取り扱っているコサイン類似度や Jaccard 係数などのいわゆる「類似度計算」の時間／空間計算量的に効率的な処理を実現する方法についてお話してきました。
自分含めた発表内容の一覧は こちら を参照してください。
発表スライドはこちらです。
発表後に頂いた質問はこんな感じだったはず。寝不足ゆえの言語認識力がだいぶ低下した状態で受け答えしたので、質問／回答は超意訳になってます。悪しからず。
バスケット分析的な方法の計算量的な話
- 購買ログなどからバスケット分析的な方法で類似度計算しようとすると、ユーザごとにログを集約しなければならないという追加処理が必要となるものの、計算量的にはあんまり問題になってない。
- むしろ問題になるのはアイテムの数。アイテム数の２乗に応じて空間計算量が必要になってしまうため、アイテム数が多い場合にはこの方法は向かない。
レコメンド精度の面で、Jaccard 係数とかコサイン類似度ってどうなのよ？
- ビジネス的には、類似度計算によって得られる精度よりもドメイン知識を使ったフィルタリングを良くする方が大事だと考えてる。
- あと弊社の事情となってしまうが、精度のよい弊社独自の類似度計算のロジックは社外秘的な扱いとなっているためしゃべれない（ので、あえて精度の話は触れなかった）。
今回の発表にあたって b-bit Min-wise hashing を Java で実装してみましたが、精度・処理性能面の特性がまだ把握しきれていないので、もうちょっと追求してみたいですね。現状の実装は以下のとおりです。
https://gist.github.com/komiya-atsushi/6414548
あと、他の方の発表の感想と今回の反省です。
ダブル配列の実装テクニック的な話が熱かった。Java で trie を実装するときの参考になるのでとってもためになります。
浮動小数点型数値の圧縮の話、昔のとあるお仕事で FPC を組み込もうかという検討をしたことがあって、そのときのことを思い出してちょっと感慨深いものがあった。整数圧縮の部分を改善する余地がまだあるとのことなので、maropu 先生の次回作に超期待してます！
僕の発表、頂いた時間内でちゃんと発表しきれたのはよかったが、聴講者の反応を見てるとあまり興味ない or 説明が不足しているゆえに理解が追いつかない状態だったっぽい。魅力的な発表テーマ＆必要十分な説明を心がけたいですね。
忙しいときこそ没頭してしまう「艦これ」を断つ勇気を僕にください…
0 コメント:
コメントを投稿