及亲信中书主书赵诲受贿事发而失宠，姚崇因此辞职，推荐宋璟接替自己。源干曜拜相才两个月，闰十二月就以黄门侍郎、安阳男的官爵和姚崇一同罢相，由宋璟和苏颋替代。玄宗行幸东都洛阳时，任源干曜守京兆尹管理长安。源干曜任京兆尹三年，把长安管理得很好。他认为富平主簿宇文融贤能，以礼厚待之。一次，玄宗打猎时不慎放走了一只白鹰，命手下抓回。当源干曜的手下发现白鹰时，它已经挂在荆棘丛里死了。这些手下害怕获罪，但源干曜认为皇帝不会怪罪，即使怪罪，他自己也会一力承担，于是上表请罪。玄宗果然没有处罚源干曜和他的手下。八年（720