Borgtårnet eller kjernetårnet utgjør det sørlige hjørnet av Peveril Castle, Byggingen begynte antagelig en gang rundt 1176, tilskyndet av Henrik II. Dets plan er kvadratisk, måler mindre enn 12 ganger 12 meter, og dets brystvern er 15 meter over tårnets fundament. Da bakken var ujevn er den på motsatt side 10,5 meter over bakkenivået. Borgtårnet er liten av størrelse sammenlignet med samtidige kongelige tårn som de ved festningene Dover og Scarborough. I dag er det ytre ru i overflaten, men opprinnelig ville den ha vært glatt. Sørøstsiden, hvor tårnet ble beskyttet fra plyndring av en naturlig kløft, kan man må få en ide om hvordan det en gang så ut. Et framspring i sørøst av tårnet huset en garderobe. Som det var vanlig med normanniske borgtårn, var ankomsten via andre etasje og via en trappeoppgang. Ankomstetasjen ville ha vært et stor offentlig rom og kjelleren benyttet for lager. En smal trapp i østhjørnet tillot tilgang til kjelleren og å kunne gå rundt på toppen av tårnet.