帝外戚丁氏、傅氏都嫉妒他受到的宠爱。傅晏与息夫躬计划，得到辅政地位。息夫躬想挑拨亲汉的匈奴单于和乌孙卑爰疐的关系，派遣大将军巡视戍边的军队，肃正边郡，杀死一个郡太守来立威，镇抚异族。左将军公孙禄、丞相王嘉认为不能欺诈归附汉朝的匈奴，哀帝不听，任命傅晏为大司马卫将军、丁明为大司马骠骑将军。任命之日有日食，董贤趁机批判傅晏和息夫躬的计策，好取代傅晏的官位。丞相、御史大夫上奏息夫躬之罪。哀帝于是痛恨息夫躬，孙宠、息夫躬都被罢免。息夫躬被贬到封国，他还是嘲笑朝廷政治，以天文判断天子的吉凶，有人告发他诅咒皇帝