Ustedalen er øvre del av dalføret mot Hardangervidda og strekker seg fra Ustevatnet til Hagafoss.Ustedalselvi renner fra Ustevatnet sør for Hallingskarvet og Åni renner fra Strandefjorden nord for Hallingskarvet, og de to elvene løper sammen ved Hol der de blir til Hallingdalselva. Dalene er formet av isbreer med terskler mellom dypere partier og høye, bratte sider. Ved Hol er det et markert trinn i dalen. Dalbunnen er bred bortsett fra noen trange punkter («klyper»). Ved Gol løper Hemsedal ut i hoveddalen og tettstedet Gol ligger på grusvifte deponert av Hemsil. Fra Ustevatnet til Gol faller elven om lag 800 meter. Fra Gol til Krøderen gjennom nedre Hallingdal faller elven bare 70 meter. Dalsidene er bratte og skogkledde, og bebyggelsen er konsentrert i dalbunnen der elven har lagt opp fruktbare sletter. I vinterhalvåret siger kaldluft fra fjellet ned i dalbunnen der luften blir ytterligere nedkjølt, og temperaturen kan falle godt under - 30°C. Nesbyen har varmerekorden for Norge med 35,6°C 20. juni 1970. Hallingdal har et innlandsklima, men ikke så utpreget som Gudbrandsdalen. De høye sommertemperaturene skyldes dels at Hallingdal ligger i ly av høye fjell. Østerdalen har ikke like høye sommertemperaturer. Det faller mer nedbør i fjellene rundt enn i selve dalføret. Rett etter istiden sto havet omtrent 200 meter høyere enn i dag og den salte fjorden omfattet Krøderen og strakk seg nesten til Nesbyen.