Карл Гебхардт родился 23 ноября 1897 года в городе Хаг (Верхняя Бавария). Ещё в школе подружился с будущим рейхсфюрером СС Гиммлером. В 1919 году начал изучать медицину в Мюнхене, в 1937 стал профессором и получил лицензию хирурга. Участвовал в «пивном путче» 9 ноября 1923 года. 1 мая 1933 года Гебхардт вступил в NSDAP, через 2 года — в СС. До начала Второй мировой войны был главным врачом в клинике Уккермарка, переоборудованной по его приказу из клиники для больных туберкулёзом в ортопедический центр. В 1938 году Гебхардт стал личным врачом Генриха Гиммлера и 20 апреля получил звание оберфюрера СС. С началом войны активно занимался экспериментами над заключёнными Аушвица и Равенсбрюка, а также занимал пост президента немецкого Красного креста. С 1943 года — главный клинический врач при имперском враче СС в составе Личного штаба рейхсфюрера СС. В 1944 году Гебхардту было поручено лечение Альберта Шпеера. В апреле 1945 года находился в бункере Гитлера, пытался вывезти оттуда детей Геббельса по линии Красного креста, но получил отказ.