Geografisk strekker området seg fra Hallingdal museum, langs Rukkedalselva til Hallingdalselva og Alfarveien i sentrum av Nesbyen. Gamle Nes består også av enkeltstående gammel bebyggelse utenfor dette området, for eksempel Kirken, Hagaled, Stasjonsbygningen og Mortensløkka fengsel. Omkring i området står 15 statuer («Otto-figurene») lagd av skrapmetall av den lokale kunstneren Otto Skaret (1935–2012), i tillegg til større steiner av gardnosbreksje fra krateret lenger nord i kommunen. Innenfor kommunens grenser finner vi grendene Svenkerud (lengst nord), Haugaplassene, Dokken, Rukkedalen, Liegrenda (med Liodden ), Øygardene (med Bromma) og Bergheim (lengst sør). Kommunen har det vesentlige av sine inntekter fra industri, landbruk og turisme.