Gebhardt ylennettiin SS-Gruppenführeriksi ja SS:n kenraalimajuriksi. Joko käskijänä tai toteuttajana Gebhardt oli suoraan vastuussa keskitysleirivangeilla tehdyistä kirurgisista kokeista. Hän toimi varsinkin Ravensbrückin naisleirillä (lähellä Hohenlycheniä) sekä Auschwitzissa. Toisen maailmansodan aikana Gebhardt oli myös jonkin aikaa Saksan Punaisen Ristin puheenjohtajana. Gebhardt oli perheineen Berliinin taistelun aikana Führerbunkerissa. Hän yritti saada perheensä pois kaupungista, mutta Joseph Goebbels ei tähän suostunut.