于二合宣布退出甲组，陈伟豪选择重返母会流浪。期间，在2004年3月流浪作客对南城地产的甲组联赛赛事，因客队流浪球员整场不断被对方的球员粗暴拦截及侵犯，结果令到陈伟豪与其余5名流浪球员参与集体打斗事件，因此被重罚停赛12场，令其足球生涯蒙上污点，事后他亦被流浪罚款两月薪酬。2007年4月19日，陈伟豪以破香港球员最高转会费纪录的40万港元由流浪转会南华，为他带来球员生涯的首个高峰，而陈伟豪所穿上的15号球衣是为纪念于2003年因车祸不幸逝世的前流浪队友张耀麟。在2007年4月21日，亦即是陈伟豪正式註册南