Fjellet er et populært klatrefjell. Det ble første gang besteget i 1850 av Jon Holten og Halvor Holthaug. På 1960-tallet var Skarfjellet en populær tumleplass for kjente norske klatrere som Arne Næss, Ralph Høibakk og andre. Spesielt Høibakk klatret i tillegg til Olavsruta (først klatret av Olav Opdøhl i 1955) også flere andre ruter. Høibakk var den ledende i norsk klatring på 60-tallet. Norsk Tindeklub var med og bidro sammen med familien Opdøhl på 60-tallet til at Innerdalen ble vernet.