Замок Вигмор был основан сразу после нормандского завоевания Англии (предположительно около 1070 года) Уильямом Фиц-Осберном, 1-м графом Херефорд. Он был построен на пустыре на берегу озера, а рядом с ним появилась одноимённая деревня (возможно, на месте более раннего поселения). По-видимому, с самого начала замок занимал значительную площадь и был сильной крепостью.