东晋由于失去华北领土，废除了司隶校尉这个职位。北魏、北齐改司隶校尉为司州牧。北周有司隶下大夫，掌管奴隶及徒刑者，负责捕盗贼、囚禁之事，是大司寇的属官（北周仿照古代司寇之职设立大司寇，掌管刑罚）。隋炀帝置司隶台，有司隶大夫一人，负责巡察。薛道衡任此职。司隶大夫下属别驾二人，巡查畿内，一人按察东都（洛阳），一人按察京师（大兴）。后又罢司隶台；裴蕴任御史大夫时，为加强自己的权力，让虞世基上奏，罢免了司隶、刺史及以下官属，只留司隶从事之名，不常设，只是临时选京官中清正廉明者「权摄」（代理）此职。