1.关于in使用的悲剧。

            目前公司使用db2数据库（主要），另外也有部分的大数据相关的业务，数据量超级大，主要有hive,hbase,spark等。今天终于有机会在大数据平台hive上跑数据，异常的兴奋，三下五除二写完了代码，开始跑。故事就这么开始了。

涉及到的表有：temp_A（a1,b1,c1）:字段有3个，数据量：1600行左右。

                         temp_B (a1,b1,d,e.....)字段至少三十个，数据量：1600多亿条数据。

进行了如下的查询：

       select b.phone_number,b.option_times from temp_A   a

               left join temp_B on  b  on a.a1=b.a1 and a.b1=b.b1  

       where x_id='3423' and op_num='2323' and option_time in('201401 ',' 201402','201403');

      在hive平台进行调度，跑了10分钟，map任务执行了8%,并且严重的占用了资源，导致其他同事的程序也跑不了，最后找到了我的头上，kill了程序。

进行修改：

   建立临时表temp_C      

for i in 201401 201402 201403

    do 

insert into  table temp_C  

  select a1 ,b1,phone_number,opsition_time from temp_B where  x_id='3423' and op_num='2323' and option_time =${i}

done

   执行完毕后temp_c的数据量大概有23万之多。此程序的调度时间大概10分钟就跑完了。剩下的问题就简单了 。

总结：上述说明了两个问题，第一，大数据，hive可以处理的数据量很大，处理数据的能力也很强，但是这并不代表你可以 为所欲为的占用资源；第二,不管是sql还是hql语言，调优很重要。

温馨提示：在hive中insert语句：insert into table tab_name.

 

-----------------------------------------------------完美分根线--------------------------------------------------------------

----------------------周末我会对hive的基础 操作和概念进行一些简单的总结，谢谢大家支持。假装有很多人【傲娇】------------

      

 

 

 

2.Java开发