吕文德效力，在鄂州之战中立下功勋，因而得到升官；他在景定中期被任命管理吉州的军政。苏刘义忠于南宋王室，归降蒙古的吕文焕和吕文福（亦可能只是其中一人）曾向苏刘义招降，被他所拒。咸淳年间，南宋与蒙古爆发襄樊之战，襄阳最终失陷；苏刘义受此事牵连，遭到贬职。德祐二年，蒙古军队佔领南宋京师临安，赵昰、赵昺二王向南方逃奔；苏刘义、陆秀夫等人听闻二王南下温州，便在路途上跟随、赶及他们。景炎元年（1276年），苏刘义就任检校少保、节度使、殿前指挥使和镇抚大使。苏刘义参与了祥兴年间爆发的厓山海战。南宋在厓山海战失利后