赵荣华曾强行检査据称有不法行为的英国轮船“大来喜号”，并逮捕了英国驻万县领事馆内的中国管事人，引发了中国同英国之间的外交争端。1923年春，吴佩孚企图用武力统一中国，乃决定武装护送战败的川军将领杨森回四川。“援川”之役起初取得一些胜利，但是随后便因为万县的张威团以及重庆江北的周西成师发生哗变而失败。吴佩孚乃决心免去赵荣华各职。吴佩孚起初向赵荣华许以陆军总长之职，但赵荣华抵达汉口后，吴佩孚改任赵荣华为川黔鄂三省前敌总执法，褫夺了赵荣华的军权。1923年12月6日，赵荣华获授将军府彝威将军。1924年9月3