宣帝时，以于定国和张敞为平尚书事，企图遏制霍光，但张敞被霍光贬官。后霍光去世，其孙霍山领尚书事，宣帝为削其权，使吏民之封事不经尚书直接上奏天子，由天子不能直接去处理，故实际上是中书令所理。此例一开，使元帝时中书独大（如弘恭、石颢），尚书令更要依附中书。成帝时，遂以领尚书放遂中书宦官，罢中书。亦有王凤改尚书之官制。《续汉志》云：「尚书四人为四曹月，常待曹主公卿事，二千石曹尚书主郡国二千石事（补充：亦有管刺吏之事），民曹尚书主凡民上书事，客曹尚书主外国夷狄之事。」成帝后设三公曹，因此为五曹。后主客曹又有分南、