北朝时期为清高显要的官职，出任者多为士族高门等大族子弟，在东晋南朝则多为侨姓高门，当时称为「天下清官」，亦称作「第一官」。梁武帝曾说道：「祕书丞天下清官，东南冑绪未有为之者，今以相处，卿定有名称也。」
南朝.
刘宋－六品.刘宋时，设立秘书监1人。祕书丞1人。秘书郎4人。
萧齐－六品.萧齐时，设立祕书监1人，祕书丞1人。下属属官有郎、着作佐郎等。
萧梁－八班.萧梁时，首次设立「秘书省」这一官署，并在官制十八班排行之中