之任广州刺史四年，期间却聚敛财物，累积了大笔家财，此事就令他被弹劾免官，并禁锢终身不得入仕。而褚裕之回到建康，哪怕昔日只有一面之缘的人都会送他丰厚的礼品。不久，刘裕就让他做自己的谘议参军。义熙十四年（418年），刘裕升任相国，又以褚裕之为相国右司马。永初元年（420年），刘裕篡晋称帝，任命褚裕之为右衞将军，更以其为士族子弟却尽心为己服务而下诏封其为番禺县男，后更加散骑常侍。永初二年，刘裕欲派人暗杀已经逊位的晋恭帝司马德文，但因司马德文与褚灵缓终日在一起而难以成事，于是派褚裕之和褚淡之以探望褚灵媛为由分开