Han ble født i det nåværende Lingling, Yongzhou, Hunan. Ikke mye er kjent om hans tidlige liv. Det er mulig at Huai Su var en nevø av dikteren Qian Qi (钱起). Han ble munk i sin barndom.