A finales del siglo XV el castillo era propiedad de Sir Rhys ap Thomas, que llevó a cabo una enorme labor de reconstrucción.