前回に続いて、23,534件の麻酔データ：エホチール、エフェドリン、ネオシネジンのいずれかを使用したどうかを術前データから予想。今回は、RDDとMLlibを用いる。 ーーーーーーーーーーーーーーーーーーーーーーーー ML […]
Month: 11月 2018
Spark実践 #6 PySpark ML その3
自前のデータでPySpark MLに挑戦： 23,534件の麻酔データ：エホチール、エフェドリン、ネオシネジンのいずれかを使用したどうかを術前データから予想。 術前データ： ーーーーーーーーーーーーーーーーー 昇圧剤 p […]
Spark実践 #6 PySpark ML その2
MLの流れをもう少し詳しく把握してみよう。
|
1 |
test_model.take(1) |
で返されたmodelの構造を良く見てみる。 [Row( INFANT_ALIVE_AT_REPORT=0, B […]
Spark実践 #5 PySpark ML
DataFrameに対するMachine LearningライブラリーであるMLを試す。入門PySpark Ch-06 ———————& […]
Spark実践 #4 PySpark MLlib
PySparkの学習を通じて、Sparkの解析プロセスがRDDから、DataFrameへ移行していること、さらにMLlibの開発は終了し、MLに移行していることなどを学ぶ。 今回は、799万件の米国における2014年と2 […]
Spark実践 #3 PySpark DataFrames
PySparkに挑戦：テキストブックは、入門PySpark ————————— ~/.bash_profile […]
Spark実践 #2 Spark.mlによる分類の実装
「詳解Apache Spark」の例で毒キノコの外見判別ー決定木 ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー データは、UCIの機械学習さいとより、 https://archive.i […]
Spark実践 #1
自前のデータでSparkに挑戦してみる。 データは、昇圧剤の使用の有無と他の術前因子の相関を見る24010件のコード化した過去4年の麻酔データ ————— […]