Apache Spark

软件主页
关注
Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,S...
加载中
1
回答
maven报错了

Cleaning up unclosed ZipFile for archive C:\Users\Administrator\.m2\repositor...

02/16 23:41
1
回答
SyntaxError: Non-ASCII character '\xc2' in file
Hejs 的回答 01/19 18:35
最佳答案
在文件开头加上这一句 #-*- coding:utf-8 -*-
22
回答
详细介绍 Apache Licene 2.0 协议

Apache Licence是著名的非盈利开源组织Apache采用的协议。该协议和BSD类似,同样鼓励代码共享和尊重原作者的著作权,同样允许代码修改,再发...

2009/11/30 21:20
1
回答
spark 的rdd 和 hdfs的广播 的联系和应用,有人了解吗?

spark 的rdd 和 hdfs的广播 的联系和应用,有人了解吗?

2019/12/02 13:30
1
回答
IgniteRDD与sparkRDD到底是什么关系呢?

@李玉珏 你好,想跟你请教个问题:看完你的文章我有一个疑问,就是IgniteRDD与sparkRDD到底是什么关系?能不能用IgniteRDD代替spar...

2019/12/02 21:38
2
回答
ElasticSearch采用Java Low Level REST Client根据ID删除数据量过万的时候报错

根据ID删除数据,以下是删除代码 当数据量过大时就报错,不知是否因为并发量过大导致的

2019/10/29 11:33
2
回答
为什么 scala 类中 怎么都无法识别 java 类的方法?

遇到的 使用的类是 JSONObject 类,是在 scala 类中使用 java 中的类...按说 没问题啊 biru Math.abs(1) 不用在意...

2019/08/11 20:06
1
回答
请问 一个关于Spark 计算 欧式距离的 错误表达

www.50000.com_【官方首页】-凤凰彩票请求一个关于Spark 计算 欧式距离 错误 毕设需要。非常感谢。 x与y的欧式距离:sqrt((x1-y1)^2+(x2-y2)^2+....) rdd...

2019/04/20 11:24
1
回答
springboot如何调用或提交spark任务带集群中

程序已经写好,并且能够正常运行,现在只想在javaweb中提交spark任务,该怎么处理

2019/01/24 22:36
6
回答
请教南京的小伙伴:java开发或者大数据开发环境怎么样

请教南京的小伙伴:java开发或者大数据开发环境怎么样(薪资、福利等)?有哪些好公司可以考虑?12年2月至今一直在深圳,前3年纯java,后4年java和...

2019/02/12 10:03
2
回答
spark 出现很严重的数据倾斜,跑批时间很长,有时候会导致java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE报错

目前在开发一个统计指标的脚本,跑批出现了严重的数据倾斜, 有时候报java.lang.IllegalArgumentException: Size exc...

2019/02/20 17:22
1
回答
spark+lucene 构建大数据存查的可行性

@震秦 你好,想跟你请教个问题:希望构建一个千亿级别的大数据存查系统 希望能做到复杂查询的快速响应 个人倾向于lucene系列(Lucene solr e...

2019/01/15 12:10
2
回答
spark streaming中报kafka的offset错误,如何解决

java.lang.AssertionError: assertion failed: Beginning offset 19309438 is afte...

2016/03/02 14:11
4
回答
自学了Spark,找到了实习,但是部门里没有人带,很多异常处理不了怎么办。

自学了Spark和Hadoop,但是没有工作经验,找到了一份相关的实习,但是部门里没有人会这个技术,没有人带,现在写代码经常遇到异常,不知道该怎么处理,请...

1
回答
sparkStreaming中使用redis造成连接数高居不下的问题

在sparkStreaming中使用redis,创建jedisPool线程池,然后使用完毕后,通过jedis.close关闭连接,送回连接池,使用的是单例...

2018/10/31 15:42
9
回答
Java工程师发展问题

各位oscer大牛好,我做Java工程师大约有4个年头了,4年除Java外还学习了python、scala、hadoop、spark、这些东西,但都没有实...

2018/11/21 10:24
1
回答
您好,请问对于Kylin的执行引擎,若用Spark来完成,是否有相关的接口,可以手工写Spark代码来完成?

@shaofengsh 你好,想跟你请教个问题:Apache Kylin的官方文档中,有关接口的描述并不多,我想问的是,二次开发是否只能根据提供的接口来完...

2018/11/26 14:15
1
回答
CDH5.7.6安装spark时出现目录不存在的问题

环境:CDH5.7.6 图一中明明是创建了,图二中却说找不到,这个问题有点奇怪。后来我手动创建,手动chmod,chown给spark:spark,仍然报...

2018/10/30 14:23
3
回答
/usr/spark/sbin/start-all.sh 启动 spark失败,怎么搞
Pythonweb2173 的回答 2015/09/30 08:49
最佳答案
hadoop 2.2 版本 不兼容 spark1.5, 查看官网得知, hadoop 2,2兼容版本是spark1.0.2

没有更多内容

加载失败,请刷新页面

返回顶部
顶部

页面底部区域 foot.htm