Etter den normanniske invasjonen av Wales ble området rundt landsbyen Raglan gitt til William FitzOsbern, jarlen av Hereford. Noen historikere, som John Kenyon, mistenker at det første festningsverket var en form for motte-and-bailey, slik normannerne gjerne satte opp i de første fasene av en erobring. Stedet ved Raglan hadde strategisk betydning og arkeologer har oppdaget restene av en mulig bailey-vollgrav på stedet. Den lokale herregården ble holdt av familien Bloet fra slutten av 1100-tallet til slutten av 1300-tallet, og familien bygde en herregård på stedet i denne perioden, omgitt av et parkanlegg. I slutten av middelalderen var Raglan-området omgitt av de store hjorteparkene Home Park og Red Deer Park, sistnevnte ble omsluttet på slutten av perioden.