Es entonces cuando las residencias de las casas ancestrales maternas de los emperadores comenzaron a usurpar el rol residencial del Palacio antes del final del período Heian.