A medida que los diputados, para necesidades de la institución, iban adquiriendo casas lindantes a ambos lados del palacio, iban construyendo salas dejando los huertos o jardines interiores como espacios libres y del conjunto de estos espacios se realizó el Patio de los Naranjos.