Hans første ekteskap ble inngått i 1543 med niesen Maria av Portugal (1527–1545). Hun døde i barsel i 1545, da hun fødte sønnen Don Carlos av Spania. Hans andre ekteskap ble inngått i 1555 med niesen Maria I av England, som døde i 1558.