Slottet har en åttekantet planløsning og i hvert hjørne er det et åttekantet tårn. Castel del Monte er arkitektonisk en blanding av elementer fra Nord-Europa, den muslimske verden og det klassiske antikke. Det ble opprinnelig kalt Castel di Santa Maria del Monte, etter et benediktinerkloster i nærheten, som nå er forsvunnet.