褚蒜子出身于官宦世家，祖父褚洽，官至武昌太守；4父亲褚裒，5官至卫将军、徐兖二州刺史，死后追赠侍中、太傅，6封爵都乡亭侯