Han var et uekte barn av , Georges Ghiselin og hans elskerinne Catherine Hespiel, vokste opp på Busbecq slott (i dagens Bousbecque, Nord, Frankrike), og studerte i Wervik og Komen – alle disse stedene var da en del av spansk Vest-Flandern, en provins i Det tysk-romerske rike.