A partire dal IX secolo Boulogne divenne sede dell'omonima contea. Uno dei suoi conti, Eustachio II, prese parte della conquista dell'Inghilterra nel 1066. Durante la guerra dei cent'anni la città fu a lungo contesa tra Inglesi e Francesi. Nel 1544 fu nuovamente espugnata dall'esercito inglese che la occuperà poi per i successivi sei anni. Boulogne tornerà così alla Francia nel 1550, grazie all'esborso di 400.000 corone.