>  > 215/45R18 93W XL FALKEN ファルケン ZIEX ZE914F ジークス ZE914F G.speed G-04 Gスピード G-04 サマータイヤホイール4本セット
A-TECH/FINALSPEED GR-Volt アルミホイール 4本セット ソリオ/ソリオバンディット MA15S 【15×4.5J 4-100 INSET45 レッドフレアブラック】
【関西、関東限定】取付サービス品ルームミラー【ムゲン】CR-Z CR-Z 【 12年9月~ 】 カーボンルームミラーカバー CARBON ROOM MIRROR COVER 《適合: ZF2-100 ZF2-110 》

こんにちは、はてなアプリケーションエンジニアの id:skozawa です。現在は CARMATE inno カーメイト イノー エアロベースキャリア1台分セット スバル インプレッサ H14.11-H19.6GG系 ステー:XS150 フック:不要 バー:XB123/XB115/XB115 最大積載重量:50kg、ブックマークチーム、及び CUSCO (クスコ) type RS Spec-F LSD フロント 1.5way(1&1.5way) Spec-F 品番:LSD 180 CT15 スバル インプレッサ WRX 型式:GDA 年式:2000.8~2007.6、プラットフォームチームで開発をしています。

先日リリースされたはてなブックマークの新機能「トピック」の裏側について、Hatena Enginner Seminar #4で紹介しました。
自然言語処理技術を用いたはてなブックマークの新機能「トピック」をベータリリースしました - はてなブックマーク開発ブログ

Hatena Enginner Seminar #4で紹介した資料に少し加筆・修正を加えたものを公開します。


内容

「トピック」機能は、はてなブックマーク開発ブログにもある通り、これまで何人かのエンジニアが挑戦してきましたが、実現できていませんでした。その主な要因として、

  • トピック生成の精度が低い
  • トピックタイトル生成が難しい

という問題があり、これらを検索技術と自然言語処理技術によって解決することによりベータリリースへとこぎつけました。

トピック生成

これまでキーワードなどを用いて記事をクラスタリングするというアプローチでトピック生成をしてきましたが、どうしてもノイズを除去できずリリースする水準まで持っていくことができていませんでした。そこで今回はトピック生成と記事クラスタリングを別々に行うアプローチをとりました。また、トピック生成ではElasticsearchのSignificant Terms Aggregation機能を活用しており、

215/45R18 93W XL FALKEN ファルケン ZIEX ZE914F ジークス ZE914F G.speed G-04 Gスピード G-04 サマータイヤホイール4本セット

タイヤ詳細


タイヤ名 FALKEN ZIEX ZE914F
サイズ 215/45R18 93W XL
ホイール詳細


ホイール名 G.speed G-04
Gスピード G-04
サイズ 18インチ 7.5J 5H P.C.D 114.3 インセット 38/48/55
18インチ 7.5J 5H P.C.D 100 インセット 53
■付属品 センターキャップ・エアバルブ
カラー メタリックブラック
適合車種
タイヤサイズ : 215/45R18 の適合参考車種
・掲載の車種は、純正タイヤサイズと一般的なインチアップサイズに基づいたデータです。
・車両の年式・型式・グレードなどにより装着サイズが異なる場合があります。
・記載のある車種でもホイールサイズ設定により適合しない場合があります。
トヨタ 【5H P.C.D114.3】
ヴォクシー/VOXY/ノア/NOAH(ZRR80W/ZRR85W/ZRR70W/ZRR75W) イプサム(ACM21W/ACM26W) エスティマ(ACR30W/ACR40W) エスティマハイブリッド(AHR10W) プリウスα(ZVW41W) プロナード(MCX20) SAI/サイ(AZK10)
ニッサン 【5H P.C.D114.3】
バサラ(JTU30) プリメーラ(RP12) プレサージュ(TU30/TNU30) リーフ(AZE0) ルネッサ(N30/NN30/PNN30)
ホンダ 【5H P.C.D114.3】
アヴァンシア(TA3) インスパイア(UC1/UA4/UA5) ステップワゴン(RK2/RK5/RK6/RG1~4) ストリーム(RN6/RN7/RN8/RN9) セイバー(UA4/UA5) HR-V(GH3/GH4)
マツダ 【5H P.C.D114.3】
アクセラ(BM5FP/BM5AP/BYEFP) アクセラスポーツ(BM5FS/BM5AS/BMEFS) アテンザ(GHEFP) アテンザスポーツ(GH5FS/GH5AS) アテンザスポーツワゴン(GHEFW/GH5FW/GH5AW) ビアンテ(CCFFW/CCEAW/CCEFW)
スバル 【5H P.C.D114.3】
レヴォーグ(VM4)
ミツビシ 【5H P.C.D114.3】
ギャランフォルティス(CY6A/CY4A) ギャランフォルティススポーツバック(CX6A/CX4A) シャリオグランディス(N84W/N94W) ランサーエボリューション10/ランエボX(CZ4A) ※GSR不可※
ダイハツ 【5H P.C.D114.3】
メビウス(ZVW41N)

Elasticsearchを導入したことも鍵となっています。

トピックタイトル生成

タイトル生成は自然言語処理分野では要約技術の一種として知られています。これまでの自然言語処理分野での実験から記事のタイトルと本文1文目が要約において重要であることがわかっているため、今回は各記事のタイトルを利用してトピックタイトルの生成を行いました。アプローチとしては重要文抽出+文圧縮という比較的シンプルなアプローチをとっています。
また、タイトル生成では以下の論文を参考にしました。

質疑応答

Hatena Enginner Seminar #4の懇親会で受けた質問の一部を取り上げて紹介します。

トピックの単位

「イスラム国のような1ヶ月程度にわたって続くトピックは作られるのか」といった質問を頂きました。
現在は大きなトピックではなく比較的小さなトピックを捉えるアプローチをとっています。そのため、「イスラム国」という大きなトピックが作られることはあまりなく、「イスラム国+何か(身代金要求、後藤さん殺害)」というサブトピック相当のものをトピックとして捉えています。大きなトピックについては今後取り組みたいと考えています。

トピックの課題

「トピックにできていないものにはどういったものがあるか」といった質問でした。
現在のアプローチは多くのニュースサイトなどに取り上げられて発火するようなトピックを捉えることが得意なモデルになっています。これは多くのトピックを捉えることよりも、精度よくトピックを捉えることを優先したためです。そのため、ブログなどで少しづつ盛り上がるようなトピックを捉えることは苦手となります。こちらについても今後改善していきたいと考えています。

テストについて

「トピックタイトルの生成のテストをどうしているか」という質問でした。
テストについてはまだちゃんとしたフローを確立できていないのが現状です。何か良い方法等あれば是非教えていただきたいです。

ディスカッションについて

「トピック機能の実装でロジックに関するディスカッションはどの程度したか」という質問でした。
はてなには現在、博士出身者が4名いるため、ロジック周りのディスカッションも可能な環境にはあると思います。ただし 、専門分野は全員異なるので、トピックタイトル生成のような自然言語処理の少し深い話となると深くディスカッションするのはどうしても難しくなります。そのため DIXCEL (ディクセル) リア ブレーキローター FP 1354876 アウディ S5 8TCAUF 11/07~11/12 4.2 FSI QUATTRO、大学や研究所など、一緒にブックマークのデータを使って研究、ディスカッションしていただける方も募集していますので、興味があれば是非ご連絡ください。

終わりに

「トピック」機能は、はてなブックマーク10周年の第1弾として開発してきました。今回の開発は一般的なWebサービスの機能開発とは少し毛色が異なり、未知の部分が多い研究的な側面のある開発でした。そのため 【テイクオフ】N-ONE JG1/2 CROSS EURO STYLE 660 リアウイング FRP製 ゲルコート仕上げ CSE0160、最新の技術や研究論文を参考にしつつ開発を進めることで機能の実現に至ることができました。
研究成果を活かしつつ、サービスとして形にし、実際に多くのユーザに利用してもらう体験はなかなか経験することができないものだと思います。はてなブックマークには10年にわたる大規模なデータが蓄積されています。はてなでは swift ブレーキパッド type-SR 1台分セット ローレル HCC33 2000 88/12~90/3 NA ABS付、こうしたデータをサービスへ活かしてくれる、アルゴリズムや検索技術、機械学習、自然言語処理などに関心のあるエンジニア(中途、新卒、アルバイト)を募集しています。

採用情報 - 株式会社はてな

{yahoojp}jpprem01-zenjp40-wl-zd-67889