2019年11月23日 / 最終更新日 : 2024年9月17日 Takuma Nishimaki 学習用記事 「系統解析」の意味と様々な手法 系統解析とは、生物の持つDNAなどの情報を基にして、生物の進化の過程を推測する技術のことを言います。 複数の生物の進化の過程をトーナメント表のように表した「系統樹」と呼ばれる図を作成する事が多くの場合ゴールになります。 […]
2019年11月9日 / 最終更新日 : 2024年6月16日 Takuma Nishimaki 学習用記事 Pythonで一定の規則を持つ配列(リスト)を生成する Pythonにて、一定の規則に基づいた配列(list)を簡単に生成する方法のTipsです。 同じ値が繰り返される配列 例えば、「5」が10回繰り返される配列を作りたい場合は、以下のように書けます。 [crayon-673 […]
2019年11月3日 / 最終更新日 : 2024年9月17日 Takuma Nishimaki 学習用記事 「平均適合率」と「MAP」の意味 予測された「ランキング」がどれだけ正解に近いかを評価したい事があります。 例えば、Googleのような文章検索システム。 例えば「人工知能 仕組み」という言葉で検索したとすると、関連するホームページが上位に大量に出てきま […]
2019年10月28日 / 最終更新日 : 2024年6月16日 Takuma Nishimaki 学習用記事 Pythonでランダムフォレストを実行する方法 Pythonを使ってランダムフォレストを実行してみます。 決定木分析を基調とした手法なので、先に決定木分析の記事を読んで頂いてからの方が分かりやすいかもしれません。 Pythonによる決定木分析 ランダムフォレストとは […]
2019年10月20日 / 最終更新日 : 2024年6月16日 Takuma Nishimaki 学習用記事 PythonによるSVM(サポートベクターマシン)の実行 Pythonで機械学習のひとつSVM(サポートベクターマシン)を実行してみます。 1963年に基礎理論が発表されてから未だに使用される事の多い、機械学習の代表的手法です。 サポートベクターマシンとは 以下のように、座標平 […]
2019年10月13日 / 最終更新日 : 2024年6月16日 Takuma Nishimaki 学習用記事 Pythonで同時に使われやすい単語ペアを調べる(共起分析) Pythonで共起分析を行います。 共起分析とは、文章の中で「同時に使われやすい言葉」を調べる分析手法です。 （ネットワークをグラフィカルに図示したものを「共起ネットワーク」と呼びます。） 以前、文章中の頻出単語を調べて […]
2019年10月6日 / 最終更新日 : 2024年6月16日 Takuma Nishimaki 学習用記事 仮説検定の手法一覧と、それらの使い分け方 「仮説検定」というのは、「ある仮説」が正しいのか間違えているのかを統計学的に検証する方法の事を言います。 調べたい事柄がどんな事でも同じ手法を適用すれば良い訳ではなく、一体どんな仮説を検証したいかによって適切な手法は変わ […]
2019年10月5日 / 最終更新日 : 2024年6月16日 Takuma Nishimaki 学習用記事 Python+Doc2Vecで似た意味を持つ文章を調べる 以前、単語をベクトル化できる技術「Word2Vec」を用いて似た意味を持つ単語を調べてみました。 今度は、文章をベクトル化できる技術「Doc2Vec」を用いて、似た意味を持つ文章を調べてみます。 Python+Word2 […]
2019年9月21日 / 最終更新日 : 2024年6月16日 Takuma Nishimaki 学習用記事 Pythonによるワードクラウドの作成方法 「ワードクラウド」とは、文章中に現れる出現頻度の高い単語を抽出し、1枚の絵にしたものです。 ある文章がどんな傾向なのか視覚的に”パッと見”で分かるので、手っ取り早く、かつ取っつきやすい方法のひとつ […]
2019年9月8日 / 最終更新日 : 2024年9月17日 Takuma Nishimaki 学習用記事 Python+Word2Vecで似た意味を持つ単語を調べる 文章中に含まれる「単語の使われ方」を見て、そこから単語同士の類似性を測ってみます。 そのためには単語を数字のベクトルで表現する必要があるのですが、今回はGoogleが2013年に発表した「Word2Vec」という技術を用 […]
