几岁的侄子倒也十分照顾。话虽如此，但在嘉庆十一年（1806年），绵亿为两子取名时私用金字偏旁被嘉庆帝斥责，更以「不似近支，自同疏远」为由，命绵亿退出干清门并在外廷当差，也革除他领侍卫内大臣、管园大臣等职务。及后绵亿替两子更名为纟字偏旁，加上嘉庆十八年的癸酉之变，绵亿眼看有些王公们毫不在乎的样子，就正色道：「皇上是吾辈何人？即使以亲谊论，也应当代上分忧，况万乘之尊乎？」绵亿遂恳请嘉庆帝速还京师，以稳定人心。其英勇刚直得嘉庆赞赏，刮目相看，官职不但一阵子就恢复了，还倍受嘉庆帝的宠爱与重用。皇帝自此常说道：「朕侄