Das Herrenhaus wurde um 1626 von Sir Thomas Morgan, Verwalter des Earl of Pembroke, errichtet. Während des Englischen Bürgerkriegs besuchte König Karl I. nach der Niederlage in der Schlacht von Naseby das Herrenhaus. Nach dem Tod von John Morgan 1715 erbte dessen gleichnamiger Neffe John Morgan das Anwesen, das danach im Besitz der Familie Morgan of Tredegar blieb. Ab etwa 1782 diente es jeweils als Wohnsitz des Erben der Familiengüter. 1785 wurde das Gebäude durch einen Brand schwer beschädigt und danach unter Leitung von Thomas Hardwick wieder aufgebaut. Ab den 1920er Jahren wurde das Herrenhaus nur noch selten genutzt. Nach der Evakuierung von Dünkirchen während des Zweiten Weltkriegs waren britische Truppen in dem Haus untergebracht. Im Dezember 1941 brannte das Anwesen aus. 1962 wurde die Ruine und der dazugehörende Grundbesitz, der nun landwirtschaftlich genutzt wurde, verkauft. Die Ruine des Herrenhauses ist seit dem 8. Mai 1964 als Kulturdenkmal geschützt, verfällt aber weiter. Der Südostturm brach 1982 großteils zusammen. Seit 1996 bemüht sich der "Ruperra Castle Conservation Trust" um den Erhalt der Ruine und des umgebenden Parks.