Gebhardt ble født i Haag i Bayern. Han begynte å studere medisin i München i 1919 hvor han også deltok i Frikorps Oberland. Han hadde stor fremgang i karrieren. I 1935 fikk han sin habilisasjon, og året etter ble han amanuensis i Berlin. I 1937 ble han professor i ortopedisk kirurgi.