2019年12月7日 / 最終更新日 : 2020年4月8日 Takuma Nishimaki Pythonデータ分析 Pythonで相関係数を求めて可視化する方法 相関分析をPythonで実行し、可視化まで行ってみます。 Excelでも相関分析は可能ですが、Pythonで実行すれば一度に全データの分布の傾向が一気に見れたり、視覚的に美しい図を作成したりと、ハイレベルな分析が簡単にで […]
2019年10月28日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Pythonでランダムフォレストを実行する方法 Pythonを使ってランダムフォレストを実行してみます。 決定木分析を基調とした手法なので、先に決定木分析の記事を読んで頂いてからの方が分かりやすいかもしれません。 Pythonによる決定木分析 ランダムフォレストとは […]
2019年10月20日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 PythonによるSVM(サポートベクターマシン)の実行 Pythonで機械学習のひとつSVM(サポートベクターマシン)を実行してみます。 1963年に基礎理論が発表されてから未だに使用される事の多い、機械学習の代表的手法です。 サポートベクターマシンとは 以下のように、座標平 […]
2019年10月13日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Pythonで同時に使われやすい単語ペアを調べる(共起分析) Pythonで共起分析を行います。 共起分析とは、文章の中で「同時に使われやすい言葉」を調べる分析手法です。 （ネットワークをグラフィカルに図示したものを「共起ネットワーク」と呼びます。） 以前、文章中の頻出単語を調べて […]
2019年10月5日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Python+Doc2Vecで似た意味を持つ文章を調べる 以前、単語をベクトル化できる技術「Word2Vec」を用いて似た意味を持つ単語を調べてみました。 今度は、文章をベクトル化できる技術「Doc2Vec」を用いて、似た意味を持つ文章を調べてみます。 Python+Word2 […]
2019年9月21日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Pythonによるワードクラウドの作成方法 「ワードクラウド」とは、文章中に現れる出現頻度の高い単語を抽出し、1枚の絵にしたものです。 ある文章がどんな傾向なのか視覚的に”パッと見”で分かるので、手っ取り早く、かつ取っつきやすい方法のひとつ […]
2019年9月8日 / 最終更新日 : 2023年8月16日 Takuma Nishimaki Pythonデータ分析 Python+Word2Vecで似た意味を持つ単語を調べる 文章中に含まれる「単語の使われ方」を見て、そこから単語同士の類似性を測ってみます。 そのためには単語を数字のベクトルで表現する必要があるのですが、今回はGoogleが2013年に発表した「Word2Vec」という技術を用 […]
2019年9月3日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Pythonによる非階層型クラスタリング(k-means法) 非階層型クラスタリングの代表的手法である「k-means法」をPythonで実行してみます。 k-means法の理論についてはこちらの記事をご覧ください。 非階層型クラスタリング「k-means法」の計算過程 ファイルの […]
2019年8月25日 / 最終更新日 : 2023年8月16日 Takuma Nishimaki Pythonデータ分析 Pythonで文章中の頻出単語を抽出する方法 文章の中に出てくる頻出単語のカウント方法です。 シンプルな分析ではありますが、頻出単語が分かるだけでもその文章データの持つ傾向を大まかに知ることができます。 今回は例題として、夏目漱石「こころ」に出てくる頻出単語ランキン […]
2019年8月19日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Pythonによる決定木分析の実行方法 データ分析手法のひとつ「決定木分析」をPythonで実行してみます。 決定木分析は経営の意思決定などビジネスで活躍することの多い手法です。 しかし、Excelでは実行できないためか一般的に用いられているシーンはそこまで見 […]
