，逐渐骄横，对中官及严嵩不若从前。世宗派使者赏赐，文华酒醉，跪拜不拘礼数，世宗不满。西苑建造楼阁，工期延迟。一日，世宗登楼远眺，见西长安街有房屋壮观，便问是谁家宅第，左右趁机进言，称是赵文华私宅，且举报他偷窃皇宫建材，世宗更怒。正逢三大殿火灾，世宗欲修正阳门，催促甚急。赵文华，世宗准备将其撤职，诏谕严嵩，称「文华似不如昔。」嵩犹尚不知世宗本意，还爲文华辩解，称文华因南征得病，应增加侍郎一人专门监督大型工程。世宗同意。文华于是上疏称病请假，世宗批示：「大工方兴，司空是职。文华既有疾，可回籍休养。」举朝闻讯相贺