Ved Castle Farm er jordverkene etter en normannisk borg av typen motte-and-bailey som ble reist på 1100-tallet av adelsfamilien de Bidun som hovedkvarter for deres baroni i Lavendon. Festningen ble sist gang omtalt i historiske kilder i 1232. Bare vollgraven og deler av grunnarbeidene er i dag synlige på eiendommen til huset Castle Manor.