Det ble reist omkring 1370. Den første eieren var Thomas Hungerford, som var speaker i Underhuset. Hans sønn Walter Hungerford, 1. baron Hungerford, utvidet slottet tidlig i det 15. århundre. Den gamle sognekirken ble da innlemmet i slottet, og ble tatt i bruk som slottskapell. Man mener at den nåværende sognekirken ble bygget av Lord Hungerford som erstatning.