性能評価 適切な誤差指標の選び方 2019年12月25日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 何かしらで行った数値の「予測」と、「正解」がどれほど離れているかを評価したい時があります。 例えば、あるサッカーチームの向こう10回の試合結果を2人で予測し合って、どちらの予想が …
データサイエンスの仕事 AI開発に必要な数学の知識とは？ 2019年12月14日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi AIの開発は通常のシステム開発に比べ、より数学の理解が必要になります。 ・・・とは言われるものの、一体どこに何の数学の知識が必要なのでしょうか。 AI開発プロジェクトにおい …
データの相関 Pythonで相関係数を求めて可視化する方法 2019年12月7日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 相関分析をPythonで実行し、可視化まで行ってみます。 Excelでも相関分析は可能ですが、Pythonで実行すれば一度に全データの分布の傾向が一気に見れたり、視覚的に美しい図 …
Tips Pythonによる日付・時刻の計算 2019年11月30日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonによる日付や時刻の計算方法を整理しました。 現在時刻の取得 まずはdatetimeライブラリをインポートします。 現在日時の取得は簡単で、nowメソッドを呼び …
生物数学 「系統解析」の意味と様々な手法 2019年11月23日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 系統解析とは、生物の持つDNAなどの情報を基にして、生物の進化の過程を推測する技術のことを言います。 複数の生物の進化の過程をトーナメント表のように表した「系統樹」と呼ばれる図を …
Tips Pythonで一定の規則を持つ配列(リスト)を生成する 2019年11月9日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonにて、一定の規則に基づいた配列(list)を簡単に生成する方法のTipsです。 同じ値が繰り返される配列 例えば、「 …
性能評価 「平均適合率」と「MAP」の意味 2019年11月3日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 予測された「ランキング」がどれだけ正解に近いかを評価したい事があります。 例えば、Googleのような文章検索システム。 例えば「人工知能 仕組み」という言葉で検索したとすると …
教師あり学習 Pythonによるランダムフォレストの実行方法 2019年10月28日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonを使ってランダムフォレストを実行してみます。 決定木分析を基調とした手法なので、先に決定木分析の記事を読んで頂いてからの方が分 …
テキスト×機械学習 単語計算機〜AIによる日本語の足し算・引き算〜 2019年10月23日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 日本語の単語による計算を行います。例えば、「うどん」-「日本」+「イタリア」を実行すると・・・？ （簡易的に作成したものなので、このAIは …
教師あり学習 PythonによるSVM(サポートベクターマシン)の実行 2019年10月20日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonで機械学習のひとつSVM(サポートベクターマシン)を実行してみます。 1963年に基礎理論が発表されてから未だに使用される事の …
テキストデータ分析 Pythonで同時に使われやすい単語ペアを調べる(共起分析) 2019年10月13日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonで共起分析を行います。 共起分析とは、文章の中で「同時に使われやすい言葉」を調べる分析手法です。 （ネットワークをグラフ …
教師なし学習 教師なし学習の手法まとめ 2019年10月8日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 本記事では「教師なし」の統計解析手法について整理します。 「教師あり」は「原因」と「結果」が揃っているデータの事を言います。 逆に、そうでないデータを「教師なし」と呼びます …
教師あり学習 教師あり学習の手法まとめ 2019年10月7日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 機械学習の手法のうち、「教師あり」の手法について整理します。 教師ありというのは、「原因」と「結果」のデータが揃っているデータの事を指します。 例えば、「天気」「気温」「宣伝の …
仮説検定 仮説検定手法の使い分け方 2019年10月6日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 「仮説検定」というのは、「ある仮説」が正しいのか間違えているのかを統計学的に検証する方法の事を言います。 調べたい事柄がどんな事でも同じ手法を適用すれば良い訳ではなく、一体ど …
テキスト×機械学習 Python+Doc2Vecで似た意味を持つ文章を調べる 2019年10月5日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 以前、単語をベクトル化できる技術「Word2Vec」を用いて似た意味を持つ単語を調べてみました。 今度は、文章をベクトル化できる技術「Do …
統計図表・グラフ Pythonによる綺麗なヒストグラムの作成方法 2020年6月1日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonを使って、綺麗なヒストグラムを作りましょう。 seabornライブラリのdistplotを使用していきます。 また、環境はJ …
仮説検定 Pythonによる仮説検定の実行方法 2020年5月21日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonで仮説検定を行う方法です。 t検定、ウィルコクソンの符号順位検定、ウィルコクソンの順位和検定（マン・ホイットニーのU検定）、カイ二乗検定についてご紹介しています。 …
仮説検定 「t検定」を正しく理解しよう 2020年1月17日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 例えば、ある会社の全社員に「あなたにとってこの会社は100点中何点ですか？」というアンケートを取ったとします。 その結果、全社員の平均値が昨年60点だったのが、今年は80点に上が …
データの代表値 「分散」「標準偏差」を正しく理解しよう 2020年1月16日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi データ分析や統計学を学ぶと、「分散」や「標準偏差」という言葉は極めて序盤に出てきます。 なんとなく、「データのばらつき具合の指標」であることは分かっているですが、解釈が分かりづら …
データの相関 「相関係数」を正しく理解しよう 2020年1月15日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 「相関」とは、ある2つのデータが互いにどれほど影響を及ぼしているかを表す指標です。 例えば、ある売店において、「入り口から陳列棚までの距離」と「その商品の売上数」に相関関係が …
データの相関 Pythonで相関係数を求めて可視化する方法 2019年12月7日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 相関分析をPythonで実行し、可視化まで行ってみます。 Excelでも相関分析は可能ですが、Pythonで実行すれば一度に全データの分布の傾向が一気に見れたり、視覚的に美しい図 …
仮説検定 仮説検定手法の使い分け方 2019年10月6日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 「仮説検定」というのは、「ある仮説」が正しいのか間違えているのかを統計学的に検証する方法の事を言います。 調べたい事柄がどんな事でも同じ手法を適用すれば良い訳ではなく、一体ど …
仮説検定 アンケート調査の必要サンプル数計算ツール 2019年9月15日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 統計学的に充分となるアンケート調査人数をブラウザ上で計算できます。 「全体数」に全対象者人数を入れ、「計算」ボタンをクリックして下さい。 「許容誤差」「信頼度」「回答比率」 …
統計分析 統計分析の手法まとめ 2019年8月5日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 統計分析手法のまとめページです。 まず「記述統計」「推計統計」の2つに大別し、それぞれについて手法を整理しました。 「回帰分析」「決定木分析」などの分析手法については「機械 …
データの代表値 Pythonによるデータの代表値（平均値、中央値など）の計算 2019年6月3日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonでデータを読み込み、列ごとに平均値や中央値などの「データの代表値」を計算してみましょう。 データ分析の初めの一歩は、何はと …
コラム 犯罪者の70%以上が食べた食べ物って？ 2019年5月28日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 突然ですがクイズです。 以下の食べ物は何でしょうか？ ・心筋梗塞で亡くなった日本人の95%以上がこの食べ物を食べていた。 ・犯罪者の70%以上は、この食べ物を食べてか …
仮説検定 「カイ二乗検定」の活用方法とエクセルによる計算手順 2019年5月25日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 以下は、第40代以降の歴代内閣総理大臣経験者(東條英機〜安倍晋三)の血液型比率を表したグラフと、日本人全体の血液型比率を表したグラフです。 …
コラム 病気を99%当てる医者の話は信じて良い？ 2019年3月9日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi よく考えないと騙されてしまいそうな、確率・統計のトリックの中でも有名なもののひとつです。 まずは、以下の文章をご覧ください。 ある病気かどうかを99%の確率で当てる …
コラム A君がテストで2連勝。でも合計点数はB君の方が高い？ 2019年2月23日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi まずは以下の文章をお読みください。 A君とB君が、1回目と2回目で合わせて100問解くというテストで勝負した。 1回目のテストで …
データの代表値 「平均値」は正しく使おう 2018年11月17日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi データ"分析"とまでは行かなくても、データ"集計"の機会は殆どの方が仕事でもプライベートでもあるかと思います。 それは仕事での原価管理・工数管理に始まり、プライベートでの家計簿記 …
教師なし学習 Pythonによる4種の次元削減と可視化 2020年5月10日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 以下4つの次元削減アルゴリズムをPythonで実行し、それぞれで2次元のグラフを作成してみます。 PCA(Principal Component Analysis:主 …
特徴量エンジニアリング AIの性能を上げる「特徴量エンジニアリング」入門 2020年4月29日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 機械学習を用いて「何かを予測するAI」を作成する時、その「予測精度」は非常に重要になります。 同じAIでも、70%当てるものと90%当てる …
機械学習 機械学習とは何か？どんな種類があるのか？ 2020年4月18日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 「機械学習」と言うと、「AIを作るために必要な技術」・・・という認識の方も多いです。 しかし、機械学習はAI開発のためだけのものではありません。 機械学習はIT企業だけではなく …
教師あり学習 Pythonによる勾配ブースティング(GBDT)の実行方法 2020年3月24日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 機械学習手法「勾配ブースティング」は、データ分析コンペティション「Kaggle」で良い性能を出す事が多く、一気に多用されるようになりました。 …
教師なし学習 「クラスタリング」とは何に使える？どんな手法がある？ 2019年12月29日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 様々あるデータ分析手法の中でも非常に活躍の機会が多い「クラスタリング」ですが、一体クラスタリングとは何なのでしょうか？ 一概に「クラス …
性能評価 適切な誤差指標の選び方 2019年12月25日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 何かしらで行った数値の「予測」と、「正解」がどれほど離れているかを評価したい時があります。 例えば、あるサッカーチームの向こう10回の試合結果を2人で予測し合って、どちらの予想が …
性能評価 「平均適合率」と「MAP」の意味 2019年11月3日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 予測された「ランキング」がどれだけ正解に近いかを評価したい事があります。 例えば、Googleのような文章検索システム。 例えば「人工知能 仕組み」という言葉で検索したとすると …
教師あり学習 Pythonによるランダムフォレストの実行方法 2019年10月28日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonを使ってランダムフォレストを実行してみます。 決定木分析を基調とした手法なので、先に決定木分析の記事を読んで頂いてからの方が分 …
教師あり学習 PythonによるSVM(サポートベクターマシン)の実行 2019年10月20日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonで機械学習のひとつSVM(サポートベクターマシン)を実行してみます。 1963年に基礎理論が発表されてから未だに使用される事の …
教師なし学習 教師なし学習の手法まとめ 2019年10月8日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 本記事では「教師なし」の統計解析手法について整理します。 「教師あり」は「原因」と「結果」が揃っているデータの事を言います。 逆に、そうでないデータを「教師なし」と呼びます …
教師あり学習 教師あり学習の手法まとめ 2019年10月7日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 機械学習の手法のうち、「教師あり」の手法について整理します。 教師ありというのは、「原因」と「結果」のデータが揃っているデータの事を指します。 例えば、「天気」「気温」「宣伝の …
教師なし学習 Pythonによる非階層型クラスタリング(k-means法) 2019年9月3日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 非階層型クラスタリングの代表的手法である「k-means法」をPythonで実行してみます。 k-means法の理論についてはこちらの記事 …
教師なし学習 「次元削減」の意味と活用方法 2019年8月31日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 様々な場面で大活躍するデータ分析手法、「次元削減(次元圧縮)」とは一体何でしょうか。 また、どのように使うのでしょうか。 本記事では、次元削減の基本的な内容について整理しました …
教師あり学習 Pythonによる決定木分析 2019年8月19日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi データ分析手法のひとつ「決定木分析」をPythonで実行してみます。 決定木分析は経営の意思決定などビジネスで活躍することの多い手法です。 しかし、Excelでは実行できな …
教師あり学習 Pythonによるロジスティック回帰分析 2019年7月27日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 例えば、スマホアプリを作ってリリースはしたものの、一体、どんなユーザが登録してくれるのか。 性別、年齢・・・など、一体どんな傾向を持った人がユーザ登録してくれる傾向にあるのか。 …
テキスト×機械学習 ナイーブベイズ分類器の仕組み 2020年2月2日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi ナイーブベイズ(単純ベイズ)とは、あるデータがどのカテゴリに属するかを確率的に求める機械学習のひとつです。 特にナイーブベイズが多用されるのはテキスト分類で、例えばメールの文 …
テキスト×機械学習 単語計算機〜AIによる日本語の足し算・引き算〜 2019年10月23日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 日本語の単語による計算を行います。例えば、「うどん」-「日本」+「イタリア」を実行すると・・・？ （簡易的に作成したものなので、このAIは …
テキストデータ分析 Pythonで同時に使われやすい単語ペアを調べる(共起分析) 2019年10月13日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonで共起分析を行います。 共起分析とは、文章の中で「同時に使われやすい言葉」を調べる分析手法です。 （ネットワークをグラフ …
テキスト×機械学習 Python+Doc2Vecで似た意味を持つ文章を調べる 2019年10月5日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 以前、単語をベクトル化できる技術「Word2Vec」を用いて似た意味を持つ単語を調べてみました。 今度は、文章をベクトル化できる技術「Do …
テキストデータ分析 Pythonによるワードクラウドの作成方法 2019年9月21日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 「ワードクラウド」とは、文章中に現れる出現頻度の高い単語を抽出し、1枚の絵にしたものです。 ある文章がどんな傾向なのか視覚的に"パッと見"で分かるので、手っ取り早く、かつ取っつき …
テキスト×機械学習 Python+Word2Vecで似た意味を持つ単語を調べる 2019年9月8日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 文章中に含まれる「単語の使われ方」を見て、そこから単語同士の類似性を測ってみます。 そのためには単語を数字のベクトルで表現する必要があ …
テキストデータ分析 Pythonで文章中の頻出単語を抽出する方法 2019年8月25日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 文章の中に出てくる頻出単語のカウント方法です。 シンプルな分析ではありますが、頻出単語が分かるだけでもその文章データの持つ傾向を大まかに知ることができます。 今回は例題とし …
テキストデータ分析 Pythonで文章の類似度を計算する方法〜TF-IDFとcos類似度〜 2019年2月2日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi Pythonで、2つの文章の類似度計算をしてみます。 理論編は以下をご覧ください。 https://analysis-navi.co …
テキストデータ分析 ２文章の類似度の計算〜Bag-of-wordsとcos類似度のしくみ〜 2019年1月19日 Takuma Nishimaki https://analysis-navi.com/wp-content/uploads/2019/09/toplogo2.png データ分析Navi 翻訳システムやチャットボットなど、文章の内容を理解する（ように振る舞う）AIが日常の様々なシーンに登場するようになりました。 翻訳サイ …
性能評価
