合时，玄宗则说：“你应该先去咨询姚崇。”源干曜也只得谢罪，承认确实没有咨询过。源干曜奏称姚崇气力虚弱，不能走路，希望令他移居四方馆，特许家人视疾，玄宗准奏。但姚崇很快因为儿子们光禄少卿姚彝、宗正少卿姚异及亲信中书主书赵诲受贿事发而失宠，姚崇因此辞职，推荐宋璟接替自己。源干曜拜相才两个月，闰十二月就以黄门侍郎、安阳男的官爵和姚崇一同罢相，由宋璟和苏颋替代。玄宗行幸东都洛阳时，任源干曜守京兆尹管理长安。源干曜任京兆尹三年，把长安管理得很好。他认为富平主簿宇文融贤能，以礼厚待之。一次，玄宗打猎时不慎放走了一只白鹰