Klein ble født i det som nå er Codlea i Romania. Klein ble ansett som , etnisk tysker. Han var en av de såkalte Siebenbürgen-sakserne som befolket store områder der. Han tok sin legeeksamen ved universitetet i Budapest kort etter å ha tjenestegjort i første verdenskrig i den rumenske hær. Deretter tjenestegjorde han som lege i Transilvania.