Det var også omkring denne tid at Zhao giftet seg med Fru Du som var tre år yngre enn ham. Ifølge et rykte som florerte noen tiår etter hans død, var det slik at da Zhao Hongyin første gang kom til området og helt alene, ble han overrasket av en snøstorm. Han måtte da tigge om mat fra tjenerne i embedsmannen Du Shuangs (杜爽) hushold. Etter noen få dager la tjenerne merke til hvor hardtarbeidende han var, og de overbeviste Du Shunag om å holde på ham i husets tjeneste. Noen få måneder etter arrangerte familien hans ekteskap med deres eldste datter.