Villiersdorp is geleë in die Wes-Kaap, in die streek genaamd die Overberg, naastenby 96 km vanaf Kaapstad, en ongeveer 355 meter bo seevlak. Die dorp lê tussen die Waterval- en Baviaansberge aan die noordwestekant van die vallei, met die Theewaterskloofdam na die suide. Villiersdorp staan ook bekend as die 'pêrel van die Overberg' of die 'trots van die Overberg'.
Veldkornet Pieter de Villiers, eienaar van die plaas Radyn, het in 1841 by die Goewerneur aan die Kaap aansoek gedoen vir die uitlê van 'n dorp op 'n gedeelte van sy plaas. In 1843 is die dorp gestig, en in 1855 'n munisipaliteit verklaar.
Munisipaliteit (1) — David Graaff het in 1907 'n skildery van 'n De Villiers-familiewapen aan die munisipaliteit geskenk, wat daarna as die munisipale wapen gebruik is.
Munisipaliteit (2) — 'n Nuwe wapen is in 1975 by die Buro vir Heraldiek geregistreer: In blou, 'n Paaslam van natuurlike kleur, in die skildhoof 'n muurkroon van goud. Die helmteken was 'n goue graaf tussen twee rooi vlerke, en die wapenspreuk was "Laboranti numen adest". Die paaslam kom uit die De Villiers-wapen.
Villiersdorp word omring deur berge, waarvan Blokkop, Aasvoëlberg en Sneeukop aan die noordekant geleë is, met die Baviaansberge in die ooste.
Noord van die dorp ontspring die Elandskloofrivier, wat deur die skone Elandskloofriviervallei afloop, na die Elandskloofdam. Die oostekant van die dorp grens aan die Elandskloofrivier. Die Kommissiekraalrivier vloei regdeur die dorp, in die Elandskloofrivier. Ongeveer 5 km suid van Villiersdorp lê die Theewaterskloofdam, die grootste dam in die Wes-Kaap en sewende grootste in Suid-Afrika. Water vanuit die dam vloei in die Riviersonderend.