Apache Spark

Spark 1.5.0の多層パーセプトロンのサンプルコードを試す(Ubuntu Linux)

2015年9月頃にこの記事をメモして、下書きのまま放置していた。 2016年3月に試したらSpark1.5のチュートリアルがネット上から消えていて試すのが大変だった。。 Ubuntu LinuxにSpark 1.5.0を入れて、 Scalaの対話インターフェイスで、多層パーセプトロンのサ…

SparkからS3のデータを読み込みんでみる

AWSでの準備 1. AWSマネージメント コンソールにアクセス。 2. IAMに移動。 3. 「ユーザー」でユーザーを作成。 アクセスキーをメモ。 4. 作成したユーザーを選んで、 「ポリシーのアタッチ」 AmazonS3ReadOnlyAccess を選んで、アタッチする。 Inte…

Spark 1.5.0の多層パーセプトロンのサンプルコードを試す(Mac)

Multilayer perceptron classifier - ML - Spark 1.5.1 Documentation Mac環境 + IntelliJ で挑戦。 ~/IdeaProjects/ に spark150 という名前のディレクトリを作成。 ~/IdeaProjects/spark150/src/main/scala/ に MultiLayerPerceptron.scala を作成。上記UR…

Apache Sparkのチュートリアル

検索で見つけたので、とりあえず試す。 Mac環境で。 How to kick-start Spark development on IntelliJ IDEA in 4 steps — Large-scale Data Processing — Medium IntelliJ IntelliJのダウンロード Community Edition FREEにしてみる。 (チュートリアルの実…

scalaのsbtメモ

IntelliJでSparkのチュートリアルを動かそうとしたら、 うまくいかなかったので、まずはsbtという物を試す。 このHelloサンプルは動いた。 始める sbt — Hello, World sbtを使って一番シンプルなscalaプログラムを動かすサンプル。 sbt-idea sbt-ideaは、Int…

Windowsでapache spark その2

http://kubotti.hatenablog.com/entry/2015/09/06/180052 でインストールは成功したので、 3日前に買った『はじめてのSpark』の第2章を試してみる。 PySpark Shellを実行 「Windowsキー」+「R」を押下する。 「cmd /c c:\spark\bin\pyspark.cmd 2> nul」と入…

Windowsでapache spark

この記事のsparkをインストールしている箇所を試してみる。 http://www.intellilink.co.jp/article/column/bigdata-kk01.html Windows10で。 ダウンロード http://spark.apache.org/downloads.html Choose a package type: で選べる、Pre-built for CDH 4 の…