Karel se vojensky vyznamenal již v italských válkách a v roce 1515 byl králem Františkem I. jmenován francouzským konetáblem. Za své služby v bitvě u Marignana (kde velel předvoji) byl odměněn pozicí milánského guvernéra. František však z pyšného a bohatého vévody měl obavy a brzy ho z Milána odvolal a odmítl dostát svým dluhům. Karla také rozzlobilo jmenování Karla IV. z Alençonu, Františkova švagra, velitelem předvoje během tažení do Nizozemska, protože tato funkce měla být jeho.