Zu Chongzhis slektshjemstavn var fra det som nå er Baoding i Hebei. Zus bestefar Zu Chang flyktet i krigstider sørover til områdene ved Yangtzefloden. Mange nordkinesere strømmet på denne tiden sørover på denne måten. Zu Chang var en periode minister for konstruksjonsprosjekter i Liu Song. Zus far, Zu Shuo (祖朔) virket også ved hoffet og var høyt skattet for sin lærdom.