Durante el Franquismo, y tras ser devuelto a la Casa Real española, el Palacio quedó en manos de los hijos de Alfonso XIII, y principalmente en manos de Juan de Borbón.