气力虚弱，不能走路，希望令他移居四方馆，特许家人视疾，玄宗准奏。但姚崇很快因为儿子们光禄少卿姚彝、宗正少卿姚异及亲信中书主书赵诲受贿事发而失宠，姚崇因此辞职，推荐宋璟接替自己。源干曜拜相才两个月，闰十二月就以黄门侍郎、安阳男的官爵和姚崇一同罢相，由宋璟和苏颋替代。玄宗行幸东都洛阳时，任源干曜守京兆尹管理长安。源干曜任京兆尹三年，把长安管理得很好。他认为富平主簿宇文融贤能，以礼厚待之。一次，玄宗打猎时不慎放走了一只白鹰，命手下抓回。当源干曜的手下发现白鹰时，它已经挂在荆棘丛里死了。这些手下害怕获罪，但源干曜认