Ursprungligen war Castle Garden en fästning,