La iniciativa para la construcción del palacio partió del emperador Carlos V a partir de su boda con Isabel de Portugal, celebrada en Sevilla en 1526.