2020年4月29日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki データ分析・AIの性能 「特徴量エンジニアリング」でAIの性能を上げよう 機械学習を用いて「何かを予測するAI」を作成する時、その「予測精度」は非常に重要になります。 同じAIでも、70%当てるものと90%当てるものでは、その価値は大違いでしょう。 たとえ目的が同じであっても、「AIの作り方」 […]
2020年4月18日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki データ分析の手法 機械学習とは何か？どんな種類があるのか？ 「機械学習」と言うと、「AIを作るために必要な技術」・・・という認識の方も多いです。 しかし、機械学習はAI開発のためだけのものではありません。 機械学習はIT企業だけではなくいかなる業種・職種でも有用なデータ分析の武器 […]
2020年2月2日 / 最終更新日 : 2021年2月20日 Takuma Nishimaki データ分析の手法 ナイーブベイズ分類器の仕組み ナイーブベイズ(単純ベイズ)とは、あるデータがどのカテゴリに属するかを確率的に求める機械学習のひとつです。 特にナイーブベイズが多用されるのはテキスト分類で、例えばメールの文面がスパムか、スパムでないかを推定する「ベイジ […]
2019年12月29日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki データ分析の手法 「クラスタリング」とは何に使える？どんな手法がある？ 様々あるデータ分析手法の中でも非常に活躍の機会が多い「クラスタリング」ですが、一体クラスタリングとは何なのでしょうか？ 一概に「クラスタリング」と言っても、その手法は様々です。 それらの意味をきちんと理解して使わなければ […]
2019年12月25日 / 最終更新日 : 2021年2月20日 Takuma Nishimaki データ分析・AIの性能 適切な誤差指標の選び方 何かしらで行った数値の「予測」と、「正解」がどれほど離れているかを評価したい時があります。 例えば、あるサッカーチームの向こう10回の試合結果を2人で予測し合って、どちらの予想が近かったかで勝負するとします。 予測が3点 […]
2019年11月23日 / 最終更新日 : 2021年2月20日 Takuma Nishimaki データ分析の手法 「系統解析」の意味と様々な手法 系統解析とは、生物の持つDNAなどの情報を基にして、生物の進化の過程を推測する技術のことを言います。 複数の生物の進化の過程をトーナメント表のように表した「系統樹」と呼ばれる図を作成する事が多くの場合ゴールになります。 […]
2019年11月3日 / 最終更新日 : 2021年2月20日 Takuma Nishimaki データ分析・AIの性能 「平均適合率」と「MAP」の意味 予測された「ランキング」がどれだけ正解に近いかを評価したい事があります。 例えば、Googleのような文章検索システム。 例えば「人工知能 仕組み」という言葉で検索したとすると、関連するホームページが上位に大量に出てきま […]
2019年10月6日 / 最終更新日 : 2020年8月5日 Takuma Nishimaki データ分析ノウハウ 仮説検定の手法一覧と、それらの使い分け方 「仮説検定」というのは、「ある仮説」が正しいのか間違えているのかを統計学的に検証する方法の事を言います。 調べたい事柄がどんな事でも同じ手法を適用すれば良い訳ではなく、一体どんな仮説を検証したいかによって適切な手法は変わ […]
2019年9月15日 / 最終更新日 : 2021年10月12日 Takuma Nishimaki データ分析ノウハウ アンケート調査の必要サンプル数計算ツール 統計学的に充分となるアンケート調査人数をブラウザ上で計算できます。 「全体数」に全対象者人数を入れ、「計算」ボタンをクリックして下さい。 「許容誤差」「信頼度」「回答比率」について特にこだわりがないor良く分からなければ […]
2019年8月31日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki データ分析の手法 「次元削減」の意味と活用方法 様々な場面で大活躍するデータ分析手法、「次元削減(次元圧縮)」とは一体何でしょうか。 また、どのように使うのでしょうか。 本記事では、次元削減の基本的な内容について整理しました。 Pythonで次元削減を行う方法について […]
