Logs

Yahoo! ウェブ検索で「”ビールや”」で検索すると、検索結果に

「ビールやお酒の」「ビールや発泡酒も」「ビールやワイン等」

といった表現が見つかります。これにより、関連語として「お酒」「発泡酒」「ワイン」が得られます。

しかし、この方法では関連語ではないノイズが多く含まれてしまいます。先ほどの検索結果の中には

「ビールや最高の状態の」「いや絶対ビールやねん! 」「ビールや世界の洋酒」

といった表現もありました。さすがに「最高」「ねん」「世界」は関連語としては不適切かと思われます。

そこで次に、一度抽出したこれらの関連語「候補」をチェックするフェーズを設けます。その方法は単純で「”関連語候補やビール”」でウェブ検索をしてヒットするかを確認するだけです。関連語ならば「や」でつながる前後を逆にした表現もきっと誰かが書いているはずです。それがウェブで見つからなかったならば、その関連語候補はノイズだと判定できます。見つかっても少数な場合は信頼度は低いということでノイズ判定することもできます。

人物情報検索のトレンドご紹介　part3 テキストマイニング技術について (Yahoo! JAPAN Tech Blog) (via otsune)

Source: otsune