Navnet Cadbury betyr «Cadas borg» og viser til Cadbury Castle, som ligger umiddelbart sørvest for landsbyen. Det er en stor bygdeborg fra jernalderen som dekker et område på rundt 20 acre eller 8 hektar. Det var menneskelig tilstedeværelse også før jernalderen, og antagelig tilbake til neolittisk tid og fram til sen angelsaksisk tid.