Akisue era cercano al Emperador Shirakawa, ya que su madre era la enfermera del Emperador, y a través de la influencia de Fujiwara no Miki, su padre adoptivo, fue Dainagon ante el Emperador.