Karl Hein var tidlig i karrieren diskoskaster, kulestøter og mangekjemper. Etter at han giftet seg på begynnelsen av 1930-tallet, sluttet han med friidrett. I 1934 så han en film om OL 1932 og var særlig imponert over den irske sleggekasteren Patrick O’Callaghan. Han begynte å trene igjen, og spesialiserte seg som sleggekaster.