読者です 読者をやめる 読者になる 読者になる

Windowsでapache spark

Apache Spark

この記事のsparkをインストールしている箇所を試してみる。
http://www.intellilink.co.jp/article/column/bigdata-kk01.html
Windows10で。

ダウンロード
http://spark.apache.org/downloads.html

Choose a package type:
で選べる、Pre-built for CDH 4
のCDHとは、clouderaが提供しているディストリビューションのようだ。
spark-1.4.1-bin-cdh4.tgz をダウンロード。

C:\spark\ に解凍したファイルを設置。

インストールの確認手順1 : 「Windowsキー」+「R」を押下する。
インストールの確認手順2 : 「cmd /c c:\spark\bin\spark-shell.cmd 2> nul」を入力

scalaプロンプトが出ることを確認。

sc.textFile("c:\spark\README.md").count() をコピー&ペーストして、
scala> sc.textFile("c:\spark\README.md").count()
res0: Long = 98

と出力された。
インストール成功。