上九卿项忠等亦弹劾汪直，当日罢黜西厂。虽然汪直不再掌管西厂，但仍然受宠，遂诬陷商辂收授指挥杨晔贿赂，而御史戴缙再次歌颂汪直功劳，请恢复西厂，商辂于是力求离去。后诏加少保，赐敕驰传归。商辂既去，士大夫更加俯首侍奉汪直，没有再敢与之抗者了。商辂为人坦荡。钱溥曾经因为不能升迁，而作《秃妇传》以讥讽商辂；高瑶请恢复明景帝位号，黎淳疏驳，极为诋毁商辂，商辂则均不计较，仍然待于如平日。万贵妃重视其名，曾经遗金帛甚厚，商辂均力辞，称：「非上命，不敢承也。」使者告诉万贵妃，万氏不悦，商辂此后归乡终不再起用。其回乡后，刘