En este castillo residieron los Fajardo durante el siglo XVI y hasta finales del siglo siguiente, cuando acabó su línea de sucesión directa.