Science To Medicine

Advanced Analytics from Spark #3 協調フィルタリング #3

２つ前のブログの続きだが、AUCの計算をspark-shellから行うようにする。ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー Advanced Analytics

Advanced Analytics with Spark、協調フィルタリングの続き：前回のレコメンデーションの問題点は、すでにユーザーが再生したことのあるアーティストが選ばれている可能性があり、改善の余地があるとのこ

台風24号ヒット！　この莫大な破壊的エネルギーをプラス方向に利用できないのだろうか？こちらはとにかくSparkするということで、Advanced Analytics from Spark第二章：交互最小二乗法を用いた協

前回の続き： ${SPARK_HOME}/bin/spark-shell –master localと指定すれば、自分のマシンのCPUのコア数に合わせた、スレッドがローカルクラスタで使われるとのこ

Advanced Analytics from Spark、Oreillyから学習を開始する。 UCIのMachine Learning Repositoryの中から、2010年ドイツでの病院での600万人近い患者のマッ

Spark APIについて、学習をすすめる。参考資料は、第5章@Apache Spark入門, Shoeisha ーーーーーーーーーーーーーーーーーーーーーーーーーーーまずは、Spark-Shellをローカルモードで立

今回は、データ部分の話を少しまとめておく。 PhysioNetには生理学的な信号情報に関するPhysioBankデータベースがある。 https://physionet.org 解析用にPhysioToolkitが用意さ

Scala@Spark を以下のサイトを参考に試してみる。 http://www.atmarkit.co.jp/ait/articles/1608/24/news014.html /opt/spark-2.3.1-bin

ScalaをIntelliJで実行させてみる。これもまた悪戦苦闘。どうやってもProject>srcから、右クリックでScala Classが登場しない。src右クリックで「ディレクトリーをマーク」でソースルートに指定し

分散並行処理Sparkについての学習を「分散平行処理」として少しずつ開始ーーーーーーーーーーーーーーーーーーーーーーーーーーーまずは、http://spark.apache.orgから、spark-2.3.1-bin