Toen tijdens de Italiaanse Oorlog van 1551-1559 Adriaan van Croÿ sneuvelde terwijl hij Terwaan belegerde in 1553, volgde Pontus hem op als kapitein-generaal van het keizerlijke leger en stadhouder van Vlaanderen en Artesië, en voltooide de verovering van Terwaan.