Karl Gebhardt was een jeugdvriend van Heinrich Himmler en lid van het "Freikorps Oberland", waartoe ook Himmler en SS-Oberstgruppenführer Sepp Dietrich behoorden. Hij nam ook deel aan Hitlers mislukte poging tot een staatsgreep in München op 9 november 1923, maar werd pas op 1 mei 1933 lid van de NSDAP. Twee jaar daarna trad hij toe tot de SS.