Fjellklatring øvet en sterk tiltrekningskraft på ham, og samme dag som han avla sin siste eksamen ved universitetet, 9. juli 1938, reiste han til Grindelwald i Sveits for å forsøke en førstebestigning av Eigers nordvegg i Berner Oberland. Flere erfarne alpinklatrere hadde mislyktes i den farlige veggen, men Harrer, Anderl Heckmair, Fritz Kasparek og Ludwig Vörg gjennomførte førstebestigningen 21. til 24. juli 1938.