機械学習– tag –
機械学習(マシンラーニング)系の記事です。
-
「平均適合率」と「MAP」の意味
予測された「ランキング」がどれだけ正解に近いかを評価したい事があります。例えば、Googleのような文章検索システム。例えば「人工知能 仕組み」という言葉で検索したとすると、関連するホームページが上位に大量に出てきます。 人工知能の仕組みについ... -
Pythonでランダムフォレストを実行する方法
Pythonを使ってランダムフォレストを実行してみます。決定木分析を基調とした手法なので、先に決定木分析の記事を読んで頂いてからの方が分かりやすいかもしれません。 https://analysis-navi.com/?p=2007 ランダムフォレストとは 一言で言えば決定木分析... -
PythonによるSVM(サポートベクターマシン)の実行
Pythonで機械学習のひとつSVM(サポートベクターマシン)を実行してみます。1963年に基礎理論が発表されてから未だに使用される事の多い、機械学習の代表的手法です。 サポートベクターマシンとは 以下のように、座標平面上に2種類のデータがあるとします。 ... -
Python+Doc2Vecで似た意味を持つ文章を調べる
以前、単語をベクトル化できる技術「Word2Vec」を用いて似た意味を持つ単語を調べてみました。今度は、文章をベクトル化できる技術「Doc2Vec」を用いて、似た意味を持つ文章を調べてみます。 https://analysis-navi.com/?p=2258 Doc2Vecは2014年に発表され... -
Python+Word2Vecで似た意味を持つ単語を調べる
文章中に含まれる「単語の使われ方」を見て、そこから単語同士の類似性を測ってみます。 そのためには単語を数字のベクトルで表現する必要があるのですが、今回はGoogleが2013年に発表した「Word2Vec」という技術を用いて行ってみます。当時、「王様」-「... -
Pythonによる非階層型クラスタリング(k-means法)
非階層型クラスタリングの代表的手法である「k-means法」をPythonで実行してみます。k-means法の理論についてはこちらの記事をご覧ください。 https://analysis-navi.com/?p=618 ファイルの読み込み、k-means法の実行 今回は理論編で使用したデータとほぼ... -
「次元削減」の意味と活用方法
様々な場面で大活躍するデータ分析手法、「次元削減(次元圧縮)」とは一体何でしょうか。また、どのように使うのでしょうか。本記事では、次元削減の基本的な内容について整理しました。 Pythonで次元削減を行う方法については、別の記事に整理しています。... -
Pythonによる決定木分析の実行方法
データ分析手法のひとつ「決定木分析」をPythonで実行してみます。 決定木分析は経営の意思決定などビジネスで活躍することの多い手法です。しかし、Excelでは実行できないためか一般的に用いられているシーンはそこまで見ません。 しかし、決定木分析は非... -
Pythonによるロジスティック回帰分析
例えば、スマホアプリを作ってリリースはしたものの、一体、どんなユーザが登録してくれるのか。性別、年齢・・・など、一体どんな傾向を持った人がユーザ登録してくれる傾向にあるのか。それが分かれば様々なマーケティングの手が打てます。 そんな課題を... -
Pythonによる階層型クラスタリングの実行方法
階層型クラスタリングをPythonで実行してみましょう。scipyのclusterというパッケージを使えば非常に簡単に作成することが出来ます。 階層型クラスタリングの理論についてはこちらをご覧ください。 https://analysis-navi.com/?p=1805 データの読み込み 今...