Construido al norte de la Basílica, alrededor del Patio del Palacio, el complejo de habitaciones tiene su origen en época de Felipe II, cuando en esa zona se instalaron los aposentos de los Infantes (lado noreste del patio), la Galería de Batallas (lado sur, ver más abajo) y las cocinas y zonas del servicio (lado oeste).