后来，尚书开始管理机密，尚书仆射也日益重要。三国时开始分为尚书左仆射、尚书右仆射。南北朝时，尚书令空缺时，尚书仆射开始执掌朝政。西魏末年和北周因实行独特的六官制度，故无尚书仆射一职。其对应尚书仆射的职位，中国学界有多种说法，一说天官大冢宰，一说司会。隋朝高颎、苏威、杨素担任尚书仆射，尚书令长期空缺。唐朝时，由于唐太宗曾任尚书令，尚书令不轻易授，而以尚书仆射为长官。武则天称帝时，改称文昌左相、文昌右相。唐中宗以后不加同中书门下三品、同中书门下平章事名目的尚书仆射，不再是宰相，而是虚职。宋神宗元丰改制，以左