En concurso con el arquitecto James Wyatt, el rey Jorge intentó «transformar el exterior de los edificios del recinto superior en un palacio gótico, pero manteniendo el carácter de los salones de estado que diseñara Hugh May».