Casó en primeras nupcias con Isabel de Borbón, quien le dio dos hijos: María Teresa de Austria y Baltasar Carlos, a quien pintó Velázquez también —véase "El príncipe Baltasar Carlos a caballo"—.