2019年8月25日 / 最終更新日 : 2024年6月28日 Takuma Nishimaki 学習用記事 Pythonで文章中の頻出単語を抽出する方法 文章の中に出てくる頻出単語のカウント方法です。 シンプルな分析ではありますが、頻出単語が分かるだけでもその文章データの持つ傾向を大まかに知ることができます。 今回は例題として、夏目漱石「こころ」に出てくる頻出単語ランキン […]
2019年2月2日 / 最終更新日 : 2024年6月16日 Takuma Nishimaki 学習用記事 Pythonで文章の類似度を計算する方法〜TF-IDFとcos類似度〜 Pythonで、2つの文章の類似度計算をしてみます。 理論編は以下をご覧ください。 2文章の類似度の計算〜Bag-of-wordsとcos類似度のしくみ〜 今回は例題として、以下の3つの文章について、それぞれの類似度を計 […]
2019年1月19日 / 最終更新日 : 2024年6月16日 Takuma Nishimaki 学習用記事 2文章の類似度の計算〜Bag-of-wordsとcos類似度のしくみ〜 翻訳システムやチャットボットなど、文章の内容を理解する(ように振る舞う)AIが日常の様々なシーンに登場するようになりました。 翻訳サイトで和文・英文の翻訳をした事のある方は多いと思います。 ・・・が、その翻訳結果を見ると […]