1. Spark sql中Join默认是inner join。
2. 如果join的字段在两个表中都有，那么可以使用Seq(“字段名”)指定join的字段，这样两个表的公共字段不需要做去重处理。
   1. 如果join的两个表字段不一致，可以使用tabNm(“col1”)===tabNm(“col2”)这种方式进行不同字段之间的join操作，但是在结果表中可能回产生重复列，所以需要对结果表中的列进行删除处理，如果drop某一列，那么结果表中如果有多个列明一样的列，都会删除掉，所以在join之前，尽量将另一个表中的字段重命名，保证join后不会产生重复列。
3. Join两个表的on条件，尽量直接写在on条件里，不要将条件提升到where过滤后面，将条件写在on后面，不会影响整个结果表的数据量，但是回应i想右表的数据量，加快join速度，但是将条件写在where过滤后面，回影响结果表中的数据量，也就是影响左表的数据量。
4. Select表达式selectExpr，在使用select的时候，要求select里面的列类型相同，比如字符串，可以使用selectExpr给所有列进行重命名，方便之后表之间做子连接，自连接会产生重复列。

1、spark任务数据倾斜现象

判断spark任务是否发生数据倾斜有以下几种：

1. 大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时，这表明执行时间慢的任务分配了很多数据，导致执行拖慢整个作业的执行速度。
2. 原本能够正常执行的Spark作业，某天突然报出OOM（内存溢出）异常，观察异常栈，可能是某一个task拉取了过多的数据量导致发生内存溢出。
3. 从spark webui上面观看Executor，发现大多数task都是在某一个Executor上执行，而其他的Executor上并没有跑task任务，这说明数据都被发送到一台Executor执行，发生数据倾斜。
4. 从spark webui上看执行时间比比较长的stage，然后查看stage中matex矩阵的百分位数分布情况，如果前50，75都没有执行，接近100%的时候任务全部执行完，说明发生数据倾斜，这也很好理解，当执行到100%才有数据，说明前50%，75%阶段都没有task执行，而只有一个task在执行，这个task拖慢了作业的执行，必然市因为数据量过大导致的。