斗中失利，主将陈曙被诛，苏缄也被降为房州司马。由于广州城池坚固，侬智高又缺乏攻城器械，被迫在围攻57天不克后撤围北上。此时，侬智高全军已发展为5万人。其后，侬智高军队席卷广西、广东各地，并计划北上攻打湖南。1052年10月（阴历九月），宋仁宗被迫撤回西夏前线的主力，任命狄青为枢密副使，率兵南征侬智高。狄青为提振军心，在桂州城南一庙宇内撒出百板铜钱，结果百枚铜钱字面无一不朝上，全军欢声雷动。狄青先锋杨文广于年底抵达桂州，与侬军相遇，作战不利，一度被困。狄青传令在西军主力未到之前，广南西路各部不得主动出击。