Castle Carey ble bygget av John Carey i 1840. Det er en romantisk bygning i nygotisk stil på North Hill, tilskrevet arkitekt John Wilson, som også formga Elizabeth College og St James Concert Hall i byen. Bygningen var kortvarig boligen til viseguvernøren av Bailiwick of Guernsey, og hvor dronning Viktoria og prins Albert bodde under deres besøk på Guernsey i 1859, foruten også George, hertug av Cambridge i 1862. Victor Hugos roman («Sliterne på havet», 1866), dedikert til Guernsey, nevner herskapshuset. Slottet var familien Careys eie fram til William Wilfred Carey solgte det i 1912. Under den andre verdenskrig brukte tyskerne stedet som en offiserklubb.