Gāozōng var den femte sønnen til den tidligere keiseren Song Huizong og den yngre halvbroren til Det nordlige Sòngs siste keiser, Song Qinzong. Hans mor var en konkubine fra Wei-familien, som siden ble enkekeiserinnen kjent som Keiserinne Xianren.