出生于宋高宗建炎元年十月二十二日（1127年11月27日）。六世祖为太祖赵匡胤的四子秦康惠王赵德芳。父亲为远支宗亲赵子偁，后封为秀安僖王。由于高宗的唯一儿子元懿太子夭折后再没有嗣子，所以只好从宗室中选择继承人，有野史称宋高宗受宋太祖託梦，称「汝祖自摄谋，据我位久，至于天下寥落，是当还我位。」故高宗过继了太祖七世孙作为养子，并立为太子；《宋史》中也有相似的记载，但为孟太后受託梦。宋高宗在苗刘兵变后，患上阳痿而不育。又受到民间多年传说宋太宗烛影斧声强夺宋太祖之位的影响，据传金太宗完颜吴乞买与宋太祖的画像