Løst definert strekker Skarvheimen seg fra Vangsmjøsa i nordøst, langs E16 til Lærdal og Flåm i nordvest, langs Flåmsbanen og Bergensbanen til Finse og Geilo i sørvest, videre langs Hallingdal til Gol i sørøst og opp Hemsedal mot Vangsmjøsa.