El puesto de "udaijin" junto con el resto de la estructura del "Daijō-kan" perdió gradualmente el poder en los siglos X y XI, cuando el clan Fujiwara comenzó a dominar la política japonesa.