lateral view用于和split、explode等UDTF一起使用的,能将一行数据拆分成多行数据,在此基础上可以对拆分的数据进行聚合,lateral view首先为原始表的每行调用UDTF,UDTF会把一行拆分成一行或者多行,lateral view再把结果组合,产生一个支持别名表的虚拟表。
示例数据:
//故使用得到上述结果 select A,B,C from table LATERAL VIEW explode(B) table1 as B
练习:
11.4.3 统计出视频观看数最高的 20 个视频的所属类别以及类别包含
Top20 视频的个数
思路:
先找到观看数最高的 20 个视频所属条目的所有信息,降序排列把这 20 条信息中的 category 分裂出来(列转行)最后查询视频分类名称和该分类下有多少个 Top20 的视频
最终代码:select category_name as category, count(t2.videoId) as hot_with_views //t2.videoId,调用t2表的videoId数据 from ( select videoId, category_name from ( select * from youtube_orc order by views desc limit 20) t1 lateral view explode(category) t_catetory as category_name) t2 //t1、t2:相当与给这个表重命名(方便使用) //1)explode()接受一个数组(或者一个map)作为输入,并将数组元素(或map)作为单独的输出。 // 2)lateral view的意义是配合explode,一个语句生成把单行数据拆解成多行后的数据结果集。 group by //group by xxx 根据xxx分组 category_name order by //order by xxx asc(升序,默认是升序。降序用desc) hot_with_views desc;
个人的一些解释说明!!!
一、最终结果的类比
类别1: 7
类别2: 3
二、t1、t2:相当与给这个表重命名(方便使用)三、1)explode()接受一个数组(或者一个map)作为输入,并将数组元素(或map)作为单独的输出。
2)lateral view的意义是配合explode,一个语句生成把单行数据拆解成多行后的数据结果集。
3)为什么列转行? 因为当前表结构为:一个视频对应一个或多个类别。所以如果要group by类别,需要先将类别进行列转行(展开),然后再进行count即可。四、
group by xxx 根据xxx分组
补充:group by 必须配合聚合函数来用,分组之后可以计数(COUNT),求和(SUM),求平均数(AVG)等。五、
order by xxx asc(升序,默认是升序。降序用desc)六、
as 是别名。反映在结果的列名中