拥立他的儿子为天子，将招来衆人之疑，张步便放弃了这个动作。本来刘永已自称天子，刘纡作为后继当然也是天子，但王闳判断刘纡比刘永更缺少人望，且经验不足，刘纡不敢贸然称帝。建武四年（28年）秋（《后汉书》光武帝纪作建武五年（29年）2月），光武帝派捕虏将军马武、骑都尉王霸包围垂惠聚。刘纡派苏茂、周建迎撃，苏茂、周建大败，垂惠聚落入汉军之手。刘纡逃到佼彊守卫的西防（山阳郡）。但佼彊也被汉军骠骑大将军杜茂打败，刘纡依靠守卫下邳（临淮郡）的董宪，逃到兰陵（东海郡）。董宪乘庞萌反光武帝之际，联合他攻打桃城（东平郡），