Ved omtrent 1100 ble det nåværende slottet reist. Norwich Castle har blant annet blitt brukt som fengsel, og ble i 1895 omgjort til et musé og kunstgalleri.