Als Sohn Herzog Karls III. und Beatrix von Portugal (Tochter von König Manuel I. von Portugal und seiner zweiten Frau, Maria von Aragón und Kastilien) zunächst für eine geistliche Laufbahn vorgesehen, wurde er nach dem Tod des Bruders Ludwig (1536) Thronerbe und daher vor allem politisch und militärisch ausgebildet. Er trat in den Dienst Kaiser Karls V., der ein Bruder von Eleonora von Kastilien, der dritten Frau seines Großvaters König Manuel I. von Portugal war. Während der Italienischen Kriege zwischen Franzosen und Spaniern annektierte Frankreich fast sein gesamtes Erbe. Einzige Hoffnung auf Rückgewinnung war der Dienst bei Kaiser Karl V., dem Gegner Frankreichs. Daher nahm er in dessen Diensten an den Schlachten von Ingolstadt (1546) und Mühlberg (1547) teil, sowie an den späteren Feldzügen gegen Frankreich (Metz und Bra, 1552). 1553 wurde er Gouverneur und Befehlshaber der kaiserlichen und spanischen Truppen in Flandern, er vertrieb die Franzosen nach der Schlacht bei Renty im Herbst 1554 aus dem Artois; 1556 ernannte ihn der Kaiser zum Statthalter der habsburgischen Niederlande. Nach Wiederaufnahme der Kämpfe gegen Frankreich unter Karls Nachfolger Philipp II. schlug er 1557 die französischen Truppen unter Connétable Anne de Montmorency in der Schlacht von Saint-Quentin vernichtend. Mit dem folgenden Frieden von Cateau-Cambrésis erhielt er seine Länder mit Ausnahme der Stadt Genf und einiger Festungen wieder zurück. 1574 und 1575 erwarb er darüber hinaus Pinerolo und Asti.