到闰三月任命为浙江、福建、广南东三路察访使、安抚及西外宗正。五月益王赵昰即位，改元景炎，是为宋端宗，当时国舅杨亮节掌权，赵与檡以国家要亲近有才贤人经常规劝，于是遭人妒忌，各将领都畏惧他。后来元军逼近浙东，端宗命他到瑞安和方洪防御。元朝廷臣指赵与檡有刘更生的忠心，又有曹王皋的孝道，应该招降任用。景炎元年十一月，元军围攻瑞安，他和方洪二人发誓死守，但一名小校李雄在半夜开启瑞安城门让元兵进入，二人率领部下巷战兵败而受绑。中书左丞董文炳亲自劝降，唯赵与檡怒斥：「我是国家宗室近亲，穷尽力量而死，是我的本分，还要问