Zhu Xis forfedre kom fra Wuyuan i dagens provins Jiangxi, i grensetraktene inn mot dagens Anhui. Men selv kom han lenger sørfra, fra indre deler av kystprovinsen av Fujian. Han far var en mellomnivås embedsmann, og var en Song-nasjonalist i den pågående konflikt mellom Det sørlige Song-dynasti og det jursjenske Jin-dynastiet.