玄宗对他们三人都不满，十七年（729年）六月，将他们一并罢相，改任裴光庭、宇文融，另一位宰相萧嵩留任。此后短期内，源干曜仍任左丞相。他与张说都请求以玄宗生日八月五日为千秋节，休假一日，群臣献甘露、玄宗酹酒，士庶村社宴乐，于是成为常例。八月，他被任命为太子李鸿的属官太子少师，但因为官名犯了祖父源师民的讳，他坚持不肯就职，于是玄宗改太子少师为太子少傅。与此同时，宋璟任尚书右丞相，张说任左丞相，玄宗为他们三人举行了盛大的就职典礼，提供御膳房饮食及命太常奏乐，亲自作三杰诗赐给他们，并封源干曜为安阳郡公。十九年（