褚渊是骠骑将军褚湛之的儿子，初娶刘楚玉曾祖父宋武帝刘裕的女儿始安哀公主，后又娶宋武帝第七女始安公主，而其子褚渊娶刘楚玉祖父宋文帝刘义隆的女儿南郡献公主，按辈分褚渊是刘楚玉的姑父