Rojen je bil v Mantovi kot tretji sin Francesca II. Gonzage in Isabelle d'Este. Ko je bil star 16 let, so ga poslali na španski dvor za paža prihodnjega cesarja Karla V., ki mu je ostal zvest vse življenje. Leta 1527 je sodeloval pri plenjenju Rima in se leta 1530 udeležil Karlovega zmagoslavnega kronanja v Bologni: ob smrti Karla III. Burbonskega (1527) je bil imenovan za glavnega poveljnika cesarske vojske v Italiji. Leta 1531 je postal vitez reda zlatega runa.