El Castillo está en la zona inglesa de Offa's Dyke, que en esa época era el límite entre la Inglaterra normanda y Gales. El Castillo de Whittington pudo haber sido en sus inicios un parador normando, aunque no hay pruebas de esto. Este lugar fue convertido en castillo por William Peverel en 1138, en favor de Matilde de Inglaterra, hija de Enrique I, y contra el Rey Esteban, sobrino de Enrique, y pretendiente al trono durante la Anarquía inglesa. A finales de la década de 1140, el señorío de Whittington, como los de Oswestry y Overton, pasó a manos de Inglaterra y a convertirse en parte del Reino de Powys y por lo tanto a formar parte del marquesado galés.