光帝病危，季芝昌作为军机大臣之一，入至寝宫。在道光帝于床内取金匣，立皇太子时，诸臣均不敢接，道光帝连以手拍床，诸臣见上怒，方接匣出启。据《荷香馆琐言》记载，诸臣均不敢受匣，即由季芝昌指使。又据台湾学者林文仁考证，指使季者为恭亲王母康慈太妃。咸丰元年，任闽浙总督，次年兼署福州将军。三年，因病乞休。十年卒于家，未于恤典，因季氏卷入皇位之争，其遭遇亦有清之仅有。谥文敏。
着作.有《丹魁堂诗集》、《外集》、《诗赋合钞》、《怡云馆试贴》存世，自订《年谱》并附有《感遇录》一卷。