2019年5月19日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Excelデータ分析 エクセルによる回帰分析 以下は、「2015年から2017年の、月別平均気温(℃)とアイスクリームの売上(円/世帯)」のグラフです。 ※参考 https://www.icecream.or.jp/biz/data/expenditures.htm […]
2019年5月12日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki データ分析の手法 ディープラーニングの学習の仕組み 2015年あたりから、「AIと言えばディープラーニング(深層学習)」というくらい、ディープラーニングの実力やその可能性・発展性が浸透してきたように感じます。 確かに画像認識を行いたいのなら今やディープラーニング一択に近い […]
2019年4月21日 / 最終更新日 : 2020年8月5日 Takuma Nishimaki プロジェクト推進 クレームを未然に防ぐ「AIの精度」に関する要件定義 AIシステムの性能要件の中には、一般的なITシステムの性能要件に加え、「AIの精度」という大事な項目が含まれます。 処理性能であればそのハードウェアの性能を前提条件として付しておかないといけないのと同じように、AIの精度 […]
2019年4月1日 / 最終更新日 : 2020年8月7日 Takuma Nishimaki データ分析の手法 進化距離・その2〜Poisson distance編〜 「進化距離」の続編です。 前回は「進化距離」の意味から、最も単純な進化距離の計算手法である「P-distance(P距離)」についてご説明させて頂きました。 進化距離(evolutionary distance)の意味と […]
2019年3月9日 / 最終更新日 : 2020年8月5日 Takuma Nishimaki データ分析ノウハウ 病気を99%当てる医者の話は信じて良い? よく考えないと騙されてしまいそうな、確率・統計のトリックの中でも有名なもののひとつです。 まずは、以下の文章をご覧ください。 ある病気かどうかを99%の確率で当てる医者がいる。 その医者に診察を受けると、「あなたは病気な […]
2019年3月2日 / 最終更新日 : 2020年8月7日 Takuma Nishimaki データ分析の手法 進化距離(evolutionary distance)の意味と計算方法 進化距離とは 「進化距離(evolutionary distance)」という言葉をご存知でしょうか。 「距離」という言葉は、広く使われている用法としては「家から病院までの距離」のように、その道の長さなどを測るために使わ […]
2019年2月23日 / 最終更新日 : 2020年8月5日 Takuma Nishimaki データ分析ノウハウ A君がテストで2連勝。でも合計点数はB君の方が高い? まずは以下の文章をお読みください。 A君とB君が、1回目と2回目で合わせて100問解くというテストで勝負した。 1回目のテストでは、A君の正解率は90%、B君の正解率は80%だった。 2回目のテストでは、A君の正解率は5 […]
2019年2月16日 / 最終更新日 : 2019年12月29日 Takuma Nishimaki プロジェクト推進 「データアナリスト」と「データサイエンティスト」は何が違う? 「データアナリスト」「データサイエンティスト」という職種も、それなりに認知されるようになってきました。 しかし、結局は肩書だけで作業はエンジニアと変わらない・・・という実態になっている企業が多いように感じます。 例えば、 […]
2019年2月9日 / 最終更新日 : 2023年9月10日 Takuma Nishimaki データ分析ノウハウ 適切な近似曲線を選んでいますか? 以下は2004年〜2018年の日本にある公衆電話台数の推移を表したグラフです。 (※参考:総務省HP) さて、この情報を元に、5年後(2023年)の、日本にある公衆電話の台数を予測してみましょう。 そのために、このグラフ […]
2019年2月2日 / 最終更新日 : 2021年1月23日 Takuma Nishimaki Pythonデータ分析 Pythonで文章の類似度を計算する方法〜TF-IDFとcos類似度〜 Pythonで、2つの文章の類似度計算をしてみます。 理論編は以下をご覧ください。 2文章の類似度の計算〜Bag-of-wordsとcos類似度のしくみ〜 今回は例題として、以下の3つの文章について、それぞれの類似度を計 […]