畏惧他。后来元军逼近浙东，端宗命他到瑞安和方洪防御。元朝廷臣指赵与檡有刘更生的忠心，又有曹王皋的孝道，应该招降任用。景炎元年十一月，元军围攻瑞安，他和方洪二人发誓死守，但一名小校李雄在半夜开启瑞安城门让元兵进入，二人率领部下巷战兵败而受绑。中书左丞董文炳亲自劝降，唯赵与檡怒斥：「我是国家宗室近亲，穷尽力量而死，是我的本分，还要问我可否投降？」最后被杀，方洪也殉节自杀。