Det egentlige Holtefjell strekker seg fra Prestvannet og Hoensvannet i sør til Dokkavatnet, Smedsvatnet og dalføret Bingen i nord. Det avgrenses i vest av Lurdalen og i øst av et lavereliggende skogsområde nedover mot jordbruksbygdene i Øvre Eiker kommune. I de seinere år har det imidlertid også blitt vanlig å bruke navnet Holtefjell også om de lavereliggende områdene sør og øst for det egentlige Holtefjell.