1923年12月6日，赵荣华获授将军府彝威将军。1924年9月3日，获授上将衔。1924年第二次直奉战争吴佩孚失败后，赵荣华和大部分直系将领一样，都随吴佩孚退居武汉。1925年，吴佩孚成立讨逆联军，赵荣华任讨逆联军前敌总执法兼京汉铁路总监察。后来，张作霖与吴佩孚实行张吴合作，讨逆联军改攻国民革命军。1926年8月，北伐军逼近武汉，赵荣华在贺胜桥督战，战败退至汉口。随后，北伐军攻占武汉，吴佩孚下野，赵荣华回到家乡。1927年，赵荣华携带家眷到天津租界居住。1937年七七事变前夕，赵荣华在天津病逝。