等人合力平定倭寇之乱，因而触动江南、浙江等地的地方势力，被诬告为贪污。之后清朝人编的《明史》更是将他列入奸臣之列。按照《明史》的说法，赵文华爲人狡诈，嘉靖八年（1529年）中式己丑科进士，授官刑部主事，官员考察，左迁东平州同知。赵文华中进士前，曾在国子监，得到时任祭酒的严嵩赏识。后严嵩权势日重，与其结为父子，并安插其任通政使。历官工部右侍郎。嘉靖年间，倭寇作乱，赵文华上疏献计。此后，下欺将士，上进谗言，打击异己，大肆搜刮，总督张经等被冤杀，倭患日益严重，文华向朝廷谎报军功，竟升工部尚书，加太子太保。