El Departamento perdió poder de manera gradual durante los siglos X y XI, debido a que el clan Fujiwara, quien tenía el puesto de regentes Imperiales, comenzaron a acaparar el Daijō-kan y era común que el Regente también tenía el puesto de Canciller o Ministro de la Derecha o ambos.