褚蒜子出身于官宦世家，祖父褚洽是武昌太守，父亲褚裒官拜卫将军、徐兖二州刺史