尉卫佐，未经推择，更与褐衣争进，非朕本意。”于是唯以张玘为下第放选，其余都罢去。源干曜和李元纮、杜暹共事，唯唯诺诺署名而已，李、杜政见不合，他也不作调停。这让玄宗对他们三人都不满，十七年（729年）六月，将他们一并罢相，改任裴光庭、宇文融，另一位宰相萧嵩留任。此后短期内，源干曜仍任左丞相。他与张说都请求以玄宗生日八月五日为千秋节，休假一日，群臣献甘露、玄宗酹酒，士庶村社宴乐，于是成为常例。八月，他被任命为太子李鸿的属官太子少师，但因为官名犯了祖父源师民的讳，他坚持不肯就职，于是玄宗改太子少师为太子少傅。