曹魏时曾属少府，西晋初裁撤，西晋末复置秘书寺，南朝梁后改为省，置监、丞等官；唐代祕书省领太史、着作二局，曾改称兰台、麟台；北宋经籍图书归祕阁，祕书仅掌祭祀祝版。宋神宗元丰改制后，祕书省职事恢复。元代并入翰林国史院，明代因之归属翰林院。唐代为六省之一（三省只是其中的权力核心，实际共有六省），工作性质是管理皇家图书馆，掌邦国经籍图书之事。祕书省内设秘书监（皇家图书馆馆长，从三品）一人，祕书少监（副长官，又名兰台侍郎，从四品，唐人别称少蓬）二人，祕书丞一人，祕书郎四人、校书郎八人、正字四人，主事一人，令史