军在安仁（今余江）展开血战，无援而败，妻小皆被俘，押于金陵监狱。其妻李氏饶州安仁人，至元十五年（宋帝昺祥兴元年 [1278]）守节缢死。枋得之兄谢君禹、两位弟弟谢君烈及谢君泽皆先后遇难，女儿谢葵英尽家资修孝烈桥后投水自尽。南宋灭亡后，枋得隐居于福建建宁府建阳县唐石里，流寓槐植村，以卜卦、教书度日，不索钱财，惟取米、屦（白米和草鞋）而已。曾到武夷山拜访遗民熊禾。元朝先后五次征聘，坚辞不应，并写《却聘书》：“人莫不有一死，或重于泰山，或轻于鸿毛，若逼我降元，我必慷慨赴死，决不失志。”至元二十六年（128