2019年1月12日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki データ分析の手法 非階層型クラスタリング「k-means法」の計算過程 クラスタリング手法の中でおそらく最も広く使用されている手法、k-means法(k-平均法)について説明します。 クラスタリングの概要については以下に整理しています。 「クラスタリング」とは何に使える？どんな手法がある？ […]
2018年12月30日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki データ分析・AIの性能 多クラス混同行列とその評価指標〜マクロ平均、マイクロ平均〜 多クラス分類における混同行列と、その性能評価指標について整理します。 2クラス分類とは、ある動物の画像が「ネコか、ネコ以外か」に分類するような2択問題を解くもの。 それに対し、多クラス分類とは、ある動物の画像が「一体何の […]
2018年12月14日 / 最終更新日 : 2020年8月7日 Takuma Nishimaki その他 将棋棋士 vs AIの戦いを振り返る〜名人が敗れるまで〜 2005年〜2015年あたりは、まさに「将棋棋士 vs AI(人工知能)」で大きく盛り上がった時代でした。 今となっては「AIは人間を完全に上回った」と見られる方が大半となりました。 しかし、2000年頃は「AIが人間を […]
2018年12月8日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki データ分析・AIの性能 ２クラス混同行列とその評価指標〜再現率、適合率、F値、など〜 AIの精度評価をする時や、データ集計の際にによく用いられる混同行列(Confusion matrix)についてです。 また、そこから計算される色々な性能指標についても整理します。 （よく間違われますが、「混合行列」ではな […]
2018年12月5日 / 最終更新日 : 2020年8月10日 Takuma Nishimaki データ分析ノウハウ データは綺麗に作ろう〜データクレンジングの基本〜 データの集計を行う際には、まず初めにきちんとデータ形式を確定させてからにしないと後々面倒になります。 例えば以下のような、10名の身長データがあるとします。 この表を見て、どう思われるでしょうか。 なんとなく「いい加減に […]
2018年12月1日 / 最終更新日 : 2021年2月20日 Takuma Nishimaki Python Tips PythonによるCSV/TSVの読み込みとデータの取得方法 Pythonでデータ分析をする為の「第一歩」として、CSV/TSVデータをPythonに読み込む方法を見ていきます。 ※ちなみに、CSVは「Comma Separated Values」つまりカンマで区切られたデータとい […]
2018年11月23日 / 最終更新日 : 2020年4月8日 Takuma Nishimaki AIを知る AI(人工知能)の能力レベル4段階 AI・人工知能というと、「周囲の温度を見て自動で冷却の強さを調整する冷蔵庫」や「洗濯物の重量により自動で水量を調整する洗濯機」などといった家電に始まり、プロの将棋棋士・囲碁棋士を打ち破るようなゲームをするものや、防犯カメ […]
2018年11月17日 / 最終更新日 : 2020年4月8日 Takuma Nishimaki データ分析ノウハウ 「平均値」は正しく使おう データ”分析”とまでは行かなくても、データ”集計”の機会は殆どの方が仕事でもプライベートでもあるかと思います。 それは仕事での原価管理・工数管理に始まり、プライベートでの家 […]
2018年11月9日 / 最終更新日 : 2019年10月9日 Takuma Nishimaki Python Tips Pythonで配列の一部を取り出す「スライス」の方法 Pythonで配列の一部を色々な形で抽出する方法、通称「スライス」のまとめです。 「数値配列の一部分のみの合計値を求めたい」ですとか、「文字列の一部分のみ抽出したい」なんていう時にスライスの記法を知っておくと、簡素かつス […]
