上，黜为民，其子顾家忘国，遣戍边卫。且迁怒礼科，将都给事中谢江以下六人廷杖削籍。文华此时已病重，史载其“及遭谴卧舟中，意邑邑不自聊，一夕手扪其腹，腹裂，脏腑出，遂死。”此后，给事中罗嘉宾等查核军饷，发现文华贪污以十万四千计。朝廷降诏罚没其家资，但直到万历十一年（1583年），尚未还清半数。明神宗便将其子慎思遣戍烟瘴之地，清廷列赵文华入《明史·奸臣传》。
着作.赵文华有文才，着作收入《文华全集》。嘉靖二十六年（1547年）曾应邀纂《嘉兴府图记》。另有《世敬堂集》，《只役纪略》等。