吴佩孚乃决心免去赵荣华各职。吴佩孚起初向赵荣华许以陆军总长之职，但赵荣华抵达汉口后，吴佩孚改任赵荣华为川黔鄂三省前敌总执法，褫夺了赵荣华的军权。1923年12月6日，赵荣华获授将军府彝威将军。1924年9月3日，获授上将衔。1924年第二次直奉战争吴佩孚失败后，赵荣华和大部分直系将领一样，都随吴佩孚退居武汉。1925年，吴佩孚成立讨逆联军，赵荣华任讨逆联军前敌总执法兼京汉铁路总监察。后来，张作霖与吴佩孚实行张吴合作，讨逆联军改攻国民革命军。1926年8月，北伐军逼近武汉，赵荣华在贺胜桥督战，战败退至汉口