Het droeg toen de naam 'Hof van Saint-Pol' en behoorde toe aan de Franse adellijke familie de Saint-Pol, ook genaamd de Châtillon. Jacques de Châtillon resideerde er rond 1300. Hij sneuvelde tijdens de Slag der Gulden Sporen in 1302.