学習用記事– category –
統計学・機械学習などの理論や、プログラミングの学習に活用できる記事です。
-
AHP(階層分析法)の理論とエクセルでの実行方法
意思決定理論のひとつ、AHP(階層分析法:Analytic Hierarchy Process)の方法論と、それをExcelやPythonで実行する方法を紹介します。AHPを理解すれば、就職先選び、購入する製品選び、お店選び、投資先選び、、、など様々な「意思決定」が必要な場面で、... -
Pythonで都道府県別の色分け日本地図を作成する方法〜japanmap〜
都道府県別の情報を日本地図にマッピングして、可視化する方法です。 以下のような図の作成ができます。 都道府県名-色名の一覧作成 基本的には、都道府県-色名(orカラーコード)の一覧をSeries型で作成し、japanmapメソッドでそれを呼び出すだけです。 以... -
BioPythonによるバイオデータ分析入門
BioPythonパッケージを使うと、Pythonで生物学関連のデータ分析を簡単に行うことができます。 この記事ではその入門編として、BioPythonを用いたDNA配列データの基本操作について整理しました。 BioPythonとは データ分析を目的としたプログラミングにはPy... -
【Python】正規分布に従っているかを調べる手法3種
t検定の適用の可否を調べたい時など、データが正規分布に従っているかどうかを調べたい時があります。 ヒストグラムを書けば見た目でなんとなく正規分布っぽいかどうかは分かりますが、それは正確ではありません。データが正規分布に従っているのかをもう... -
Pythonによる綺麗な散布図の作成方法
Pythonを使って、綺麗な散布図を作る方法です。 seabornライブラリの、scatterplot、jointplot、pairplotを使用します。 使用データの読み込み この記事では以下のデータを使用して、様々なパターンの散布図を作成してみます。 まずは、以下のようにread_c... -
Pythonによる綺麗なヒストグラムの作成方法
Pythonを使って、綺麗なヒストグラムを作りましょう。seabornライブラリのdistplotを使用していきます。また、環境はJupyter notebookを使用していることを想定しています。 使用データの読み込み 今回は、以下のテストの成績データを使ってみます。 まず... -
Pythonによる仮説検定の実行方法
Pythonで仮説検定を行う方法です。t検定、ウィルコクソンの符号順位検定、ウィルコクソンの順位和検定(マン・ホイットニーのU検定)、カイ二乗検定についてご紹介しています。 どういう時にどの手法を使えば良いのかについては、「仮説検定の使い分け方」... -
Pythonによる4種の次元削減と可視化
以下4つの次元削減アルゴリズムをPythonで実行し、それぞれで2次元のグラフを作成してみます。 PCA(Principal Component Analysis:主成分分析) SVD(Singular Value Decomposition:特異値分解) t-SNE(t-distributed Stochastic Neighbor Embedding) UMAP(Un... -
機械学習とは何か?どんな種類があるのか?
「機械学習」と言うと、「AIを作るために必要な技術」・・・という認識の方も多いです。しかし、機械学習はAI開発のためだけのものではありません。機械学習はIT企業だけではなくいかなる業種・職種でも有用なデータ分析の武器です。 「AI」というのは、あ... -
Pythonによる勾配ブースティング(GBDT)の実行方法
機械学習手法「勾配ブースティング」は、データ分析コンペティション「Kaggle」で良い性能を出す事が多く、一気に多用されるようになりました。 個人の主観としても「数量データ分析における最強の機械学習手法」ではないかと考えており(後述します)、機械...