Vermutlich wurde während der normannischen Eroberung von Gwent an der Stelle der heutigen Burg eine Motte mit Erd- und Holzbefestigungen errichtet. Später wurde sie zu einem mittelalterlichen Herrenhaus umgebaut, das von der Familie Bloet bewohnt wurde. William ap Thomas, ein Angehöriger des niederen Adels, hatte um 1406 Elizabeth Bloet, die Witwe von James Berkeley geheiratet. Seine Frau starb 1420, und William erhielt von seinem Stiefsohn James Berkeley die Erlaubnis, Raglan zeitlebens zu behalten. 1432 kaufte er die Burg von seinem Stiefsohn. Der inzwischen zu Wohlstand und Macht gekommene William ließ den Großteil des alten Herrenhauses abreißen und begann mit dem Bau einer prächtigen Burg. Von ihm stammen vor allem das südliche Tor, der mächtige Keep und der Hallenflügel. Die Anlage war von einer Ringmauer umschlossen, die vermutlich noch ein Teil des alten Herrenhauses war.