Ouvert en 1591, le collège s'installe en de nouveaux bâtiments construits à partir de 1601 sous la direction des frères coadjuteurs Henri Hoeimaker pour la chapelle, et Quirin Huart (1584-1628) pour le collège. Souvent inondés (l'Escaut n'est pas loin) et au moins deux fois bombardés (les sièges de 1656 et 1677) les bâtiments sont reconstruits de 1735 à 1751.