Spark-sql操作记录

  • A+
所属分类:大数据分析
摘要这一篇会介绍关于Spark-sql操作记录,包括新建和删除表;新建分区和删除分区;以及hadoop HDFS的常用的文件操作,文件的上传,查看等操作。

新建表删除表

下面介绍几种新建表的方式:

将查找结果新建表

  1. create table table_name as
  2.     select *
  3.     from A;

将查找结果插入分区

  1. insert overwrite table test.tabel_A partition(year='2018',month='08',day='09',class='name')
  2.     select *
  3.     from A;

新建表(不含分区)

  1. CREATE TABLE `test.tabel_A`(
  2.     `user_id` int COMMENT '用户id',
  3.     `age` float COMMENT '用户年龄')
  4. COMMENT '用户姓名年龄'
  5. ROW FORMAT DELIMITED
  6. --这里要设置分割符号
  7. FIELDS TERMINATED BY ','
  8. STORED AS INPUTFORMAT
  9. 'org.apache.hadoop.mapred.TextInputFormat'
  10. OUTPUTFORMAT
  11. 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
  12. LOCATION
  13. 'hdfs://user/test/table_A';

新建表(包含分区)

  1. CREATE TABLE `test.tabel_A`(
  2.     `user_id` int COMMENT '用户id',
  3.     `age` float COMMENT '用户年龄')
  4. COMMENT '用户姓名年龄增量'
  5. PARTITIONED BY (
  6.     `year` string,
  7.     `month` string,
  8.     `day` string,
  9.     `class` string)
  10. ROW FORMAT DELIMITED
  11. --这里要设置分割符号,这里设置逗号作为分隔符
  12. FIELDS TERMINATED BY ','
  13. STORED AS INPUTFORMAT
  14. 'org.apache.hadoop.mapred.TextInputFormat'
  15. OUTPUTFORMAT
  16. 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
  17. LOCATION
  18. 'hdfs://user/test/table_A';

上面是一些新建表的内容(关于往表内文件的上传在后面会讲到)

删除表

  1. drop table test.tabel_A;

查看location

  1. show create table test.tabel_A;

 

新建分区和删除分区

新建分区

  1. alter table test.tabel_A add partition (year='2018',month='08',day='13',class='name') location 'hdfs://user/test/table_A/2018-08-13-name';

删除分区

  1. ALTER TABLE test.tabel_A DROP PARTITION (year='2018',month='08',day='13',class='name');

 

hadoop HDFS常用文件操作命令

详细的可以查看下面的链接:hadoop HDFS常用文件操作命令

下面列一下常用的:

文件上传

  1. hadoop fs -put < local file > < hdfs file >
  2. -- 插入具体的分区
  3. hadoop fs -put output.txt hdfs://user/table_A/2018-08-09

查看目录下的文件

  1. hadoop fs -ls  hdfs://user/table_A

查看插入后文件和文件的大小

  1. hadoop fs -count hdfs://user/test/table_A/
  2. hadoop fs -du hdfs://user/test/table_A/

 

Spark-sql函数

具体可以参考下面的链接:Spark API 全集(2):Spark SQL 函数全集

  • 微信公众号
  • 关注微信公众号
  • weinxin
  • QQ群
  • 我们的QQ群号
  • weinxin
王 茂南

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: