紹熙四年春二月，江陵飢，出米振之。是月，宗室趙汝愚并葛邲等拜相。監察御史汪義端劾以宗室入相非制，帝不答。尋罷義端。五月，帝欲召浙東總管姜特立入朝，丞相留正以為不可，六月，正自出臨安府。朝臣數人遂上書，請悔姜特立之召。帝不答。秋七月，以趙汝愚、余端禮知樞密院事。八月，江淮旱，詔振為旱所傷者。九月，太上皇帝聖誕，百官請帝朝重華宮，未果。誕日至，丞相率百官慶賀，帝不往。朝議紛紛，諫官、太學生等二百一十八人上書以聞，皆不答。是月，丞相以下百官，萬事皆關白太上，帝不能理政。月末，帝方欲謁重華宮，復以疾不行。冬十一月，帝謁太上皇帝於重華宮，群情大悅。是月，留正歸朝。十二月，帝再朝重華宮。