2019年10月5日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Python+Doc2Vecで似た意味を持つ文章を調べる 以前、単語をベクトル化できる技術「Word2Vec」を用いて似た意味を持つ単語を調べてみました。 今度は、文章をベクトル化できる技術「Doc2Vec」を用いて、似た意味を持つ文章を調べてみます。 Python+Word2 […]
2019年9月21日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Pythonによるワードクラウドの作成方法 「ワードクラウド」とは、文章中に現れる出現頻度の高い単語を抽出し、1枚の絵にしたものです。 ある文章がどんな傾向なのか視覚的に”パッと見”で分かるので、手っ取り早く、かつ取っつきやすい方法のひとつ […]
2019年9月8日 / 最終更新日 : 2021年2月20日 Takuma Nishimaki Pythonデータ分析 Python+Word2Vecで似た意味を持つ単語を調べる 文章中に含まれる「単語の使われ方」を見て、そこから単語同士の類似性を測ってみます。 そのためには単語を数字のベクトルで表現する必要があるのですが、今回はGoogleが2013年に発表した「Word2Vec」という技術を用 […]
2019年9月3日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Pythonによる非階層型クラスタリング(k-means法) 非階層型クラスタリングの代表的手法である「k-means法」をPythonで実行してみます。 k-means法の理論についてはこちらの記事をご覧ください。 非階層型クラスタリング「k-means法」の計算過程 ファイルの […]
2019年8月25日 / 最終更新日 : 2021年4月15日 Takuma Nishimaki Pythonデータ分析 Pythonで文章中の頻出単語を抽出する方法 文章の中に出てくる頻出単語のカウント方法です。 シンプルな分析ではありますが、頻出単語が分かるだけでもその文章データの持つ傾向を大まかに知ることができます。 今回は例題として、夏目漱石「こころ」に出てくる頻出単語ランキン […]
2019年8月19日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Pythonによる決定木分析の実行方法 データ分析手法のひとつ「決定木分析」をPythonで実行してみます。 決定木分析は経営の意思決定などビジネスで活躍することの多い手法です。 しかし、Excelでは実行できないためか一般的に用いられているシーンはそこまで見 […]
2019年8月15日 / 最終更新日 : 2020年8月15日 Takuma Nishimaki Pythonデータ分析 プログラミングしてみたい人のためのPython入門２〜基本操作編〜 Python入門記事の続編です。 私はプログラミング初心者はPythonから入ることをオススメしています。 理由は「トレンドで、かつシンプルなので学びやすいから」です。(2019年現在) データ分析やAIの開発を行う場合 […]
2019年7月27日 / 最終更新日 : 2021年2月20日 Takuma Nishimaki Pythonデータ分析 Pythonによるロジスティック回帰分析 例えば、スマホアプリを作ってリリースはしたものの、一体、どんなユーザが登録してくれるのか。 性別、年齢・・・など、一体どんな傾向を持った人がユーザ登録してくれる傾向にあるのか。 それが分かれば様々なマーケティングの手が打 […]
2019年7月14日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Pythonによる階層型クラスタリングの実行方法 階層型クラスタリングをPythonで実行してみましょう。 scipyのclusterというパッケージを使えば非常に簡単に作成することが出来ます。 階層型クラスタリングの理論についてはこちらをご覧ください。 階層型クラスタ […]
2019年7月9日 / 最終更新日 : 2021年2月20日 Takuma Nishimaki Pythonデータ分析 Pythonによる重回帰分析 Pythonで重回帰分析を行ってみます。 先にPythonによる単回帰分析の記事を読んでいただいたほうが分かりやすいかもしれませんが、こちらのみ読んでいただいても分かるようにはしております。 また、今回もstatsmod […]
