Der Name Montgomery leitet sich von dem normannischen Adeligen Roger de Montgomerie ab, dem König Wilhelm I. nach der Eroberung von 1066 das Land an der walisischen Grenze übergab. Montgomerie stammte ursprünglich aus dem Pays d'Auge in der Normandie und wurde vom König mit der Aufgabe betraut, sowohl gegen die walisischen Fürsten wie gegen die enteigneten angelsächsischen Thanes das Land für die normannischen Eroberer zu sichern. Er errichtete etwa eine Meile südlich der heutigen Stadt auch eine erste hölzerne Burg, die heute unter dem Namen "Hen Domen" (Alte Burg) bekannt ist.