1 Maven 依赖
<spark.version>2.1.0</spark.version> |
2. JavaWordCount
package com.sjf.open.spark; |
3. 命令行执行
使用Maven 进行打包:mvn clean
mvn package
使用上述命令打包后,会在项目根目录下的target目录生成jar包。打完jar包后,我们可以使用spark-submit提交任务:bin/spark-submit --class com.sjf.open.spark.JavaWordCount --master local /home/xiaosi/code/Common-Tool/target/common-tool-jar-with-dependencies.jar /home/xiaosi/a.txt
ee: 1
aa: 3
dd: 2
vvv: 1
ff: 2
bb: 3
cc: 1
4. Idea本地调试
运行配置