苏刘义生于现属安徽省辖下的贵池，但史家对这个说法存有疑问。景定初年，苏刘义为吕文德效力，在鄂州之战中立下功勋，因而得到升官；他在景定中期被任命管理吉州的军政。苏刘义忠于南宋王室，归降蒙古的吕文焕和吕文福（亦可能只是其中一人）曾向苏刘义招降，被他所拒。咸淳年间，南宋与蒙古爆发襄樊之战，襄阳最终失陷；苏刘义受此事牵连，遭到贬职。德祐二年，蒙古军队佔领南宋京师临安，赵昰、赵昺二王向南方逃奔；苏刘义、陆秀夫等人听闻二王南下温州，便在路途上跟随、赶及他们。景炎元年（1276年），苏刘义就任检校少保、节度使、殿前指