記事一覧

単純な相関分析や回帰分析では、データの背後に潜む真の「原因と結果」の関係を見極めることは難しいことが多いです。統計的因果推論はデータから因果関係を明らかにするための強力なツールです。これによりビジネスの意思決定や研究活動など、さまざまな...

単純な相関分析や回帰分析では、データの背後に潜む真の「原因と結果」の関係を見極めることは難しいことが多いです。 統計的因果推論はデータから因果関係を明らかにするための強力なツールです。 これによりビジネスの意思決定や研究活動など、さまざま...

K-meansクラスタリングをExcelで実施してみます。 クラスタリングはPythonで行うのが一般的ですが、エクセルを用いることで理論面の理解が深まります。 また、どうしてもプログラミングに抵抗のある方でもクラスタリング技術を活用できるようになります。 ...

YouTubeチャンネル「データサイエンス塾!!」にて公開しているPythonデータ分析講座の一覧です。当ページにて、動画内で使用しているソースコードやファイルの共有も行っておりますので、ご自由にお使いください。(アップロードの都合上、ファイル名やソー...

データサイエンスやAI開発を学びたい方へ向けたおすすめ書籍を紹介します。 まずは予備知識をつける まずはデータサイエンスの勉強を始めるまでの前提知識を押さえるのに適した書籍を紹介します。高校数学までの基本知識、パソコンの使用経験、簡単なプロ...

都道府県別の情報を日本地図にマッピングして、可視化する方法です。 以下のような図の作成ができます。 都道府県名-色名の一覧作成 基本的には、都道府県-色名(orカラーコード)の一覧をSeries型で作成し、japanmapメソッドでそれを呼び出すだけです。 以...

BioPythonパッケージを使うと、Pythonで生物学関連のデータ分析を簡単に行うことができます。 この記事ではその入門編として、BioPythonを用いたDNA配列データの基本操作について整理しました。 BioPythonとは データ分析を目的としたプログラミングにはPy...

t検定の適用の可否を調べたい時など、データが正規分布に従っているかどうかを調べたい時があります。 ヒストグラムを書けば見た目でなんとなく正規分布っぽいかどうかは分かりますが、それは正確ではありません。データが正規分布に従っているのかをもう...

Pythonを使って、綺麗な散布図を作る方法です。 seabornライブラリの、scatterplot、jointplot、pairplotを使用します。 使用データの読み込み この記事では以下のデータを使用して、様々なパターンの散布図を作成してみます。 まずは、以下のようにread_c...

Pythonを使って、綺麗なヒストグラムを作りましょう。seabornライブラリのdistplotを使用していきます。また、環境はJupyter notebookを使用していることを想定しています。 使用データの読み込み 今回は、以下のテストの成績データを使ってみます。 まず...

Pythonで仮説検定を行う方法です。t検定、ウィルコクソンの符号順位検定、ウィルコクソンの順位和検定（マン・ホイットニーのU検定）、カイ二乗検定についてご紹介しています。 どういう時にどの手法を使えば良いのかについては、「仮説検定の使い分け方」...

以下4つの次元削減アルゴリズムをPythonで実行し、それぞれで2次元のグラフを作成してみます。 PCA(Principal Component Analysis:主成分分析) SVD(Singular Value Decomposition:特異値分解) t-SNE(t-distributed Stochastic Neighbor Embedding) UMAP(Un...