spark 操作 mysql

主要有两个思路,一个是旧的,spark 1.3 之前,自己动手丰衣足食,后来有了 spark sql,使用它的 dataframe,也是可以的

=================================

旧的有:

Spark与Mysql(JdbcRDD)整合开发

Spark将计算结果写入到Mysql中

这种 jdbc rdd 的,貌似是 scala 专属,Spark SQL: JdbcRDD

==================================

新的有:

Spark RDD写入RMDB(Mysql)方法二

这一个也是用 dataframe,但是也是 scala 的,Spark: Connecting to a jdbc data-source using dataframes

Loading database data into Spark using Data Sources API

Spark SQL MySQL Example With JDBC,这一个还带视频

长文:Using Apache Spark and MySQL for Data Analysis

How to work with MySQL DB and Apache spark,各种语言的样例

==============================

买一送一,hbase 的:

Spark读取Hbase中的数据


历史评论

spark 操作 hbase | ZRJ (2016-04-21 09:52:30):

[…] 之前说到这个,spark 操作 mysql […]

使用 Hugo 构建
主题 StackJimmy 设计