Es wurde um 1412 auf einer Anhöhe über dem Tal des Bahus als englischer Militärposten errichtet, nachdem im Frieden von Brétigny die Gascogne an die englische Krone übergegangen war. Seinen Namen erhielt das Anwesen von den Bombardements einfacher Kanonen, die englische Truppen seit der Schlacht bei Crécy nutzten. Spuren seiner Befestigung lassen sich noch heute erkennen an schweren Türen, Schießscharten und einer Mauerdicke von mehr als einem Meter im zentralen Gebäude. Das heutige l-förmig angeordnete Schloss bestand zu Beginn aus einem rechteckigen Teil, dessen Hauptfassade sich nach Norden zu einer ehemaligen Straße orientierte, die auf die Anhöhe führte. Die Engländer entwickelten den Weinbau, und der erste Armagnac wurde um 1417 auf dem Markt von Saint-Sever verkauft. Das Schloss wurde folglich mit einer Kelter und mehreren Weinkellern ausgestattet. Spuren eines großen Kamins und Fresken aus der damaligen Zeit haben im ersten Stock des Schlosses die Jahrhunderte überdauert.