褚渊的祖父褚秀之，在刘宋时曾任太常；他的父亲褚湛之，曾任骠骑将军，娶宋武帝之女始安哀公主为妻