Il participe ensuite à la plupart des guerres européennes de son époque où il s'illustre dans de nombreuses batailles comme à Alger en 1541 ou à Metz en 1553. À la bataille de Renty, il se distingue en protégeant l’empereur au cours de la bataille. Il devient un des plus proches conseillers de Charles Quint. Il accompagne même ce dernier à Innsbruck lorsqu'il rédige son testament, le . Il est choisi parmi les quelques personnes qui entourent l'empereur pour accompagner dans sa retraite à Yuste. Mais sa mort, la veille du départ le l'en empêche. Son corps est ramené en Franche-Comté et il est inhumé dans l'église Saint-Hilaire de Pesmes.