Advanced Analytics from Spark #2-2

前回の続き： ${SPARK_HOME}/bin/spark-shell –master localと指定すれば、自分のマシンのCPUのコア数に合わせた、スレッドがローカルクラスタで使われるとのこ

Advanced Analytics from Spark #2-1

Advanced Analytics from Spark、Oreillyから学習を開始する。 UCIのMachine Learning Repositoryの中から、2010年ドイツでの病院での600万人近い患者のマッ

Spark APIについて、学習をすすめる。参考資料は、第5章@Apache Spark入門, Shoeisha ーーーーーーーーーーーーーーーーーーーーーーーーーーーまずは、Spark-Shellをローカルモードで立

今回は、データ部分の話を少しまとめておく。 PhysioNetには生理学的な信号情報に関するPhysioBankデータベースがある。 https://physionet.org 解析用にPhysioToolkitが用意さ

Scala@Spark を以下のサイトを参考に試してみる。 http://www.atmarkit.co.jp/ait/articles/1608/24/news014.html /opt/spark-2.3.1-bin

ScalaをIntelliJで実行させてみる。これもまた悪戦苦闘。どうやってもProject>srcから、右クリックでScala Classが登場しない。src右クリックで「ディレクトリーをマーク」でソースルートに指定し

分散並行処理Sparkについての学習を「分散平行処理」として少しずつ開始ーーーーーーーーーーーーーーーーーーーーーーーーーーーまずは、http://spark.apache.orgから、spark-2.3.1-bin

ここまで早急にDeep Learning実装に向けた強化学習を行ってきた。Rで始まり、Python & TensorFlow に移行し、そしてJava + DL4jで進めてきた。Rの利点は、DL学習が非常に分か

MnistAnomalyの構造について、詳しく確認してみよう。ここでは、とくにJAVA 8で強化されたコレクションクラスを駆使した行列データの操作への理解が重要となる。オートエンコーダーでは、28×28の数字

もう少しDL4JのExampleを調査する。 MNISTAnomalyExampleは、 http://yann.lecun.com/exdb/mnist/ にある50,000枚の手書き数字学習用画像ライブラリについて、