有意让他的儿子赵禥继承帝位，故在之后收养其子，并立为太子。景定五年（1264年），儿子赵禥在兄长理宗驾崩后继位，是为宋度宗。咸淳十年（1274年），度宗驾崩，赵与芮孙（度宗子）赵㬎继位，是为宋恭帝。德祐二年（1276年），临安城被元军攻克，太皇太后谢道清、太后全氏和其孙宋恭帝被元朝政府北迁至元大都，赵与芮、黄定喜夫妇同行。赵与芮为宋室中辈份最高，主动将其财产献给元政府，因此被掳至大都的宋宗室皆被善待。至元十五年（1278年），元世祖忽必烈授宋福王赵与芮金紫光禄大夫、检校大司农、平原郡公。元朝至元二十五年