渊被加尚书令、侍中等职，并且配备班剑（手持班剑的武士二十人），褚渊随后辞退尚书令一职。元徽三年（475年）-40岁进爵为雩都县侯，增邑一千户；在守丧期过后获授中书监，而侍中及护军将军则如故，并且给鼓吹一部。休范之乱被平定以后，褚渊与袁粲、刘秉及萧道成轮流入朝决事，时称「四贵」，不过当时后废帝行为率性猖狂，更加猜忌有功的萧道成，道成遂有废立之意，遂向三人表达意向，袁粲及刘秉皆反对废立，但褚渊却默不作声，心中支持道成。元徽五年<br>宋顺帝昇明元年（477年）-42岁8月1日，农历七夕夜，侍卫杨