西汉时丞相缺位，往往以御史大夫递补，并与丞相（大司徒）、太尉（大司马）合称三公。汉成帝时改为大司空。曹魏黄初元年，改御史大夫为司空。隋唐以后，御史大夫之职与秦汉有所不同，仅为御史台长官，专掌监察、执法。五代十国时期杨吴政权为避讳奠基人杨行密父杨怤，改称御史大宪。明朝洪武年间改御史台为都察院。御史大夫遂废。1931年2月，南京国民政府根据孙中山五权宪法理论，设立监察院。中国共产党中央纪律检查委员会书记的级别和功能与御史大夫类似。