В 1420 году Бульонский замок попал во владение аристократического рода Де-Ла-Марк-Аренберг, хотя формально и оставался собственностью льежских епископов. В 1482 году Марк-Аренбергам удалось закрепить за собой юридически владение и замок, однако в 1521 году император Карл V вернул их епископам. С 1548 года замком и герцогством вновь управляли Марк-Аренберги. После бракосочетания Шарлотты де ла Марк и Анри де Ла-Тур-д’Овернь Бульон перешёл к фамилии Ла-Тур-д’Овернь. В 1672 году замок был в течение 20 дней осаждаем французскими войсками короля Людовика XIV и затем взят. В 1678 году он был вновь передан семейству Ла-Тур-д’Овернь, однако с 1693 года взят под королевскую опеку. После этого Бульонский замок был перестроен известным французским военным архитектором Себастьеном де Вобаном, создавшем здесь современную крепость с артиллерийскими гнёздами. С 1795 года герцогство Бульонское и крепость официально перешли к Франции. После окончания наполеоновских войн (в 1815 году) они были включены в Нидерландское королевство, а после Бельгийской революции 1830 года оказались в Бельгии. После этого крепость ещё некоторое время использовалась по прямому назначению. Во время франко-прусской войны в 1870 году здесь размещался немецкий военный госпиталь. В настоящее время Бульонская крепость — одна из крупных туристических целей Бельгии.