故的生父赵希瓐为荣王，并由赵与芮继承王位。由于赵与芮与兄长理宗一同来自民间，故两兄弟关系十分密切。理宗的子女不多，两名儿子皆在幼年夭折，故须要在宗室中寻找继任人，由于理宗与荣王赵与芮感情深厚，有意让他的儿子赵禥继承帝位，故在之后收养其子，并立为太子。景定五年（1264年），儿子赵禥在兄长理宗驾崩后继位，是为宋度宗。咸淳十年（1274年），度宗驾崩，赵与芮孙（度宗子）赵㬎继位，是为宋恭帝。德祐二年（1276年），临安城被元军攻克，太皇太后谢道清、太后全氏和其孙宋恭帝被元朝政府北迁至元大都，赵与芮、黄定