Первым лордом Абергавенни был Гамелин де Баллон (Баладон) — французский сеньор, родовые владения которого располагались в Мэне. В 1066 году он в составе армии Вильгельма Завоевателя принял участие в завоевании Англии. Позже король Вильгельм II пожаловал Гамелину земли в Верхнем Гвенте в будущей Валлийской марке, включая замок замок Абергавенни, построенный не позднее 1087 года. Возможно, что ещё во время правления Вильгельма завоевателя Гамелин был кастеляном замка.