>  > 215/45R18 93W XL FALKEN ファルケン ZIEX ZE914F ジークス ZE914F G.speed G-04 Gスピード G-04 サマータイヤホイール4本セット
(クーポン配布中) ACTIVE スロットルKIT [ホルダー:TYPE-3 T-GLD] 巻取φ42 [ステン金具] YZF-R1 07-08 1067285SU 【送料無料】(北海道・沖縄除く)
(クーポン配布中) ACTIVE スロットルKIT [ホルダー:TYPE-3 BLK] 巻取φ42 [ステン金具] YZF-R1 09-12 1067403SU 【送料無料】(北海道・沖縄除く)

こんにちは、はてなアプリケーションエンジニアの id:skozawa です。現在は LSPT10038 (株)弥満和製作所 ヤマワ ロング管用タップテーパーネジ LS-PT-100-3/8 HD店、ブックマークチーム、及び ダイハツ NMN-D50 2000年モデル BLITZ(ブリッツ)TV JUMPER(テレビ ジャンパー) 純正ナビ 走行中にテレビが見れる TST71 ブリッツ テレビジャンパー、プラットフォームチームで開発をしています。

先日リリースされたはてなブックマークの新機能「トピック」の裏側について、Hatena Enginner Seminar #4で紹介しました。
自然言語処理技術を用いたはてなブックマークの新機能「トピック」をベータリリースしました - はてなブックマーク開発ブログ

Hatena Enginner Seminar #4で紹介した資料に少し加筆・修正を加えたものを公開します。


内容

「トピック」機能は、はてなブックマーク開発ブログにもある通り、これまで何人かのエンジニアが挑戦してきましたが、実現できていませんでした。その主な要因として、

  • トピック生成の精度が低い
  • トピックタイトル生成が難しい

という問題があり、これらを検索技術と自然言語処理技術によって解決することによりベータリリースへとこぎつけました。

トピック生成

これまでキーワードなどを用いて記事をクラスタリングするというアプローチでトピック生成をしてきましたが、どうしてもノイズを除去できずリリースする水準まで持っていくことができていませんでした。そこで今回はトピック生成と記事クラスタリングを別々に行うアプローチをとりました。また、トピック生成ではElasticsearchのSignificant Terms Aggregation機能を活用しており、

215/45R18 93W XL FALKEN ファルケン ZIEX ZE914F ジークス ZE914F G.speed G-04 Gスピード G-04 サマータイヤホイール4本セット激安海外通販!


『22番のみ』 ワゴンR/ワイド、プラス、ソリオ用 スライディングルーフ(ブラック)のデフレクタ 78170-74F10-0CE FIG782a スズキ純正部品


215/45R18 93W XL FALKEN ファルケン ZIEX ZE914F ジークス ZE914F G.speed G-04 Gスピード G-04 サマータイヤホイール4本セット ウインマックス【Winmax】ブレーキパットARMA (アルマ スポーツ) [1台分SET]シルビア・180SX PS13 ターボ・RPS13 ターボ 91.01-※ブレーキパット材はご選択ください。

↓↓↓【USA在庫あり】 56-4794 クワッドボス(QUADBOSS) FULL トップ エンド SET 564794 HD;[1174858] DIXCEL FP ブレーキローター リヤ用 メルセデスベンツ W218 (COUPE) 218374/218392 11/02~ AMG CLS63/CLS63 4MATIC;RSR 車高調 Black☆i 推奨仕様 ウィッシュ ZGE22W H24/4~ FF 2000 NA 2.0Z ※北海道・沖縄・離島は送料別途, Bellezza ベレッツァ シートカバー ワイルドステッチDX スイフト ZC13S/ZC43S/ZC53S/ZC83S H29/1~ グレー×グレー, ブリヂストン NEXTRY ネクストリー サマータイヤ 235/50R18 MANARAY SCHNEDER SQ27 ホイールセット 4本 18インチ 18 X 7 +50 5穴 114.3, 【割引クーポン配布中】CUSCO/クスコ LSD type-RS SPEC-F(タイプRS スペックF) 商品番号:LSD 150 LT2, 【メーカー在庫あり】 CCGT060202FRJ10 (株)タンガロイ タンガロイ 旋削用G級ポジTACチップ 10個入り CCGT060202FR-J10 HD;15インチ サマータイヤ セット【ステラ(RN1、RN2)】MANARAY ユーロスピード G10 メタリックグレー 4.5Jx15LEMANS V LM5 165/55R15 【在庫あり】TOKYO PARTS 東京パーツ その他外装関連パーツ リプロダクションレッグシールド ピーエス250(ビッグラックアス)↓↓↓パジェロ(マイナー前) V6・7#W系 用 現品限り!グランツHIDバナー 純正交換バルブ2個セット GLANZ HID D2R/5700K, 【USA在庫あり】 DRAG フロント ブレーキライン 黒ステンレス 08年-13年 FLSTN +4インチ(45.75インチ) 1741-2848 JP, クーポン有 コマツ パワーショベル PC650-1A オイルエレメントC-107, 【USA在庫あり】 86-2506 Rick's Motorsport Electrics ステーター コイル アッシー 87年 ヤマハ YFM350ER Moto 4 862506 HD, 【関西、関東限定】取付サービス品フェンダーダクト【エクスクルージブ ゼウス】エスティマ 【 EXE LINE 】 フェンダーダクト 202塗装済品 ESTIMA (ACR・GSR) MC前 2006/1 - 2008/1


↓↓↓↓↓↓
↓↓↓↓↓↓

19インチ サマータイヤ セット【適応車種:クラウンアスリート(210系 3.5L)】WORK エモーション M8R アッシュドチタン 8.5Jx19ADVAN ネオバAD08R 245/35R19, ブリヂストン POTENZA Adrenalin ポテンザ アドレナリン RE003 サマータイヤ 205/50R16 ブリヂストン BALMINUM T10 ホイールセット 4本 16 X 6.5 +48 5穴 100, Clazzioシートカバー Jr(ジュニア) トヨタ ヴィッツ H24/5- グレード Jewela(1.0L車) / F(1.0L車) / F-スマイルエディション(1.0L車) F-Ciel→(1.0L車) / F(1.0L車)-SMART STOP パッケージ 型式 KSP130 定員 5 ET-1059, タナベ サステックプロCR 車高調 エスクァイア ZWR80G CRZRR80GK 取付セット アライメント込 TANABE SUSTEC PRO CR 車高調整キット サスペンションキット ローダウン コイルオーバー【店頭受取対応商品】, DYNASTY ELGRAND [E50/前期.後期] Series Chapter 2 REAR WING 塗装済み

バルボリン マックスガード 0W-20 SN/GF-5 100%合成油 4L×6 【送料無料】;新品アルミホイール1本価格 17インチWORK EMOTION T7R 17×7.0J 5/100 +53MGM(マットカーボン) ワーク エモーション ティーセブンアール WFT(軽量 フローフォーミング) 送料無料(一部離島除く) TANABE タナベ車高調 サステックプロZT40 ダイハツ ムーヴ(2015~ LA150系・LA160系 LA150S) フジコーポレーション 【メーカー在庫あり】 ポッシュ POSH カスタムLEDテールランプユニット 11年-12年 CBR250R クリア 057090-91 HD店;[NEOPLOT] ブレーキペダルネオ ノア ZRR80G ZRR80W ZRR85G ZRR85W ZWR80G ZWR80W CVT

Audi アウディ A6ハイブリッド(C7) 4GCHJS用 リアブレーキパッド+ローター 左右セット ☆送料無料☆ 当日発送可能(弊社在庫品の場合);■LED HB4 S1 ヒートシンク■6500K 4000lm■12/24V 25W■ガイア H10.5~ XM1G.SXM10.15.CXM10.15 ヘッド■

Elasticsearchを導入したことも鍵となっています。

トピックタイトル生成

タイトル生成は自然言語処理分野では要約技術の一種として知られています。これまでの自然言語処理分野での実験から記事のタイトルと本文1文目が要約において重要であることがわかっているため、今回は各記事のタイトルを利用してトピックタイトルの生成を行いました。アプローチとしては重要文抽出+文圧縮という比較的シンプルなアプローチをとっています。
また、タイトル生成では以下の論文を参考にしました。

質疑応答

Hatena Enginner Seminar #4の懇親会で受けた質問の一部を取り上げて紹介します。

トピックの単位

「イスラム国のような1ヶ月程度にわたって続くトピックは作られるのか」といった質問を頂きました。
現在は大きなトピックではなく比較的小さなトピックを捉えるアプローチをとっています。そのため、「イスラム国」という大きなトピックが作られることはあまりなく、「イスラム国+何か(身代金要求、後藤さん殺害)」というサブトピック相当のものをトピックとして捉えています。大きなトピックについては今後取り組みたいと考えています。

トピックの課題

「トピックにできていないものにはどういったものがあるか」といった質問でした。
現在のアプローチは多くのニュースサイトなどに取り上げられて発火するようなトピックを捉えることが得意なモデルになっています。これは多くのトピックを捉えることよりも、精度よくトピックを捉えることを優先したためです。そのため、ブログなどで少しづつ盛り上がるようなトピックを捉えることは苦手となります。こちらについても今後改善していきたいと考えています。

テストについて

「トピックタイトルの生成のテストをどうしているか」という質問でした。
テストについてはまだちゃんとしたフローを確立できていないのが現状です。何か良い方法等あれば是非教えていただきたいです。

ディスカッションについて

「トピック機能の実装でロジックに関するディスカッションはどの程度したか」という質問でした。
はてなには現在、博士出身者が4名いるため、ロジック周りのディスカッションも可能な環境にはあると思います。ただし 、専門分野は全員異なるので、トピックタイトル生成のような自然言語処理の少し深い話となると深くディスカッションするのはどうしても難しくなります。そのため 送料無料 COLIN スタンス シートカバー スタンダードモデル オデッセイ RC1 7人乗り(H25/11~) ホンダ 3603 コーリン、大学や研究所など、一緒にブックマークのデータを使って研究、ディスカッションしていただける方も募集していますので、興味があれば是非ご連絡ください。

終わりに

「トピック」機能は、はてなブックマーク10周年の第1弾として開発してきました。今回の開発は一般的なWebサービスの機能開発とは少し毛色が異なり、未知の部分が多い研究的な側面のある開発でした。そのため DIXCEL (ディクセル) リア ブレーキローター HS 1654958 ボルボ S60 FB420 14/02~ 2.0 T5 Venti DISC、最新の技術や研究論文を参考にしつつ開発を進めることで機能の実現に至ることができました。
研究成果を活かしつつ、サービスとして形にし、実際に多くのユーザに利用してもらう体験はなかなか経験することができないものだと思います。はてなブックマークには10年にわたる大規模なデータが蓄積されています。はてなでは 314【ランドクルーザープラド RZJ12#/TRJ12#/VZJ12#/KDJ12#/GRJ12#】H14/10~H21/9ベレッツァ アブソルートシートカバー、こうしたデータをサービスへ活かしてくれる、アルゴリズムや検索技術、機械学習、自然言語処理などに関心のあるエンジニア(中途、新卒、アルバイト)を募集しています。

採用情報 - 株式会社はてな

{yahoojp}jpprem01-zenjp40-wl-zd-67889