Slottet ligger 29 km sør for Barletta i Andria kommune på en åsrygg som dominerer landskapet rundt. Veggene er bygget av enorme blokker av kvartsholdig kalkstein. Hver av de to etasjene i slottet har åtte kamre av lik størrelse, som tilsvarer de åtte sidene av bygningen. Castel del Monte er spesielt interessant på grunn av fraværet av funksjoner ellers felles for et overveldende flertall av militære monumenter i denne perioden (ytre forsvar, vollgrav, staller, kjøkken, depot, kapell), den matematiske strengheten i grunnplanen og formen.