記事一覧
-
Pythonで文章の類似度を計算する方法〜TF-IDFとcos類似度〜
Pythonで、2つの文章の類似度計算をしてみます。理論編は以下をご覧ください。 https://analysis-navi.com/?p=569 今回は例題として、以下の3つの文章について、それぞれの類似度を計算してみます。文章A「私は犬が好きです。」文章B「私は犬が嫌いです。... -
2文章の類似度の計算〜Bag-of-wordsとcos類似度のしくみ〜
翻訳システムやチャットボットなど、文章の内容を理解する(ように振る舞う)AIが日常の様々なシーンに登場するようになりました。 翻訳サイトで和文・英文の翻訳をした事のある方は多いと思います。・・・が、その翻訳結果を見ると、どうも変な文章だな…... -
非階層型クラスタリング「k-means法」の計算過程
クラスタリング手法の中でおそらく最も広く使用されている手法、k-means法(k-平均法)について説明します。 クラスタリングの概要については以下に整理しています。 https://analysis-navi.com/?p=2957 k-means法のアルゴリズム k-means法は以下の手順でデ... -
多クラス混同行列とその評価指標【エクセルでの計算方法あり】
多クラス分類における混同行列と、その性能評価指標について整理します。 2クラス分類とは、ある動物の画像が「ネコか、ネコ以外か」に分類するような2択問題を解くもの。それに対し、多クラス分類とは、ある動物の画像が「一体何の動物なのか」を推測する... -
将棋棋士 vs AIの戦いを振り返る〜名人が敗れるまで〜
2005年〜2015年あたりは、まさに「将棋棋士 vs AI(人工知能)」で大きく盛り上がった時代でした。 今となっては誰もが「AIは人間を完全に上回った」と考えています。しかし、2000年頃までは「AIが人間を超えるはずがない」と見られる方が大半...という時代... -
2クラス混同行列とその評価指標【再現率・適合率・F値など】
AIの精度評価をする時や、データ集計の際にによく用いられる混同行列(Confusion matrix)についてです。また、そこから計算される色々な性能指標についても整理します。(よく間違われますが、「混合行列」ではないのでご注意下さい。) 今回は、「ある画像...