魏军包围江陵，樊毅率兵救援江陵，江陵陷落，樊毅被岳阳王萧詧擒获。久后逃回。南陈建立，樊毅和弟弟樊勐响应王琳起兵。王琳战败，樊毅随王琳奔北齐，南陈太尉侯瑱派使者招降樊毅，樊毅率子弟、部曲归顺陈朝。561年（天嘉二年），受位通直散骑常侍，随侯瑱攻打巴州、湘州，累进武州刺史。569年（太建元年），转任丰州刺史，封高昌县侯。入朝为左卫将军。573年（太建五年）、陈军北伐，樊毅率兵攻下广陵楚子城。在颍口击破北齐军，在沧陵击破北齐援军。575年（太建七年）攻下潼州、下邳、高栅六城。吕梁之战陈军战败，樊毅为大都督，进