Grev Henry fikk festningen kraftig utvidet og ombygd på slutten av det 11. århundre, for å fungere som hans bolig og mer som et slott. Festningen, som var over hundre år gammel, trengte renovering så han valgte å ødelegge det som gjensto fra Mumadonas konstruksjon. Han utvidet slottets område og la til to innganger. Festningen ble den offisielle kongelige residensen fra 1139, da Portugal ble uavhengig, til rundt 1200. Det var her Afonso Henriques ble født i 1111 og han levde sitt liv i slottet, som ble residensen til Teller av Portucale.