Borgund er en fjellbygd med bosetting hovedsakelig langs Lærdalselva. De nederste gårdene i bygden, Sjurhaugen og Nedrehegg, ligger ca. 270 meter over havet. Høgaloftet på grensen til Hemsedal er med sine 1920 meter over havet det høyeste punktet i Borgund og det nest høyeste fjellet i Norge sør for Jotunheimen. Høye fjell omkranser hoveddalføret.