史斥责谄媚得宠的宠臣，而忤逆宦官刘瑾，刘瑾私自拟诏，贬其为南京吏部左侍郎。同年五月，升任南京户部尚书。又过了三个月，在武宗过问刘瑾关于杨廷和去向后，杨廷和被召回朝廷，提升兼任文渊阁大学士，参与机务。正德三年，加为少保兼太子太保。因刘瑾摘录杨廷和与大学士李东阳等人参与编写的《大明会典》中的一些小错，夺去了他们的二级官俸。不久，因修成《明孝宗实录》的功劳，武宗仍把两级官俸还给他。次年，加杨廷和光禄大夫、柱国，升迁担任吏部尚书、武英殿大学士。当时刘瑾不仅横行霸道，而且大臣焦芳、张綵又与他在朝内外勾结陷害排除异