Bracia Baumgarten zaczęli uprawiać lekkoatletykę w 1935. Karl był kandydatem do startu w igrzyskach olimpijskich w 1936 w Berlinie, lecz na przeszkodzie stanął brak holenderskiego obywatelstwa. Starania o nadanie obu braciom obywatelstwa Holandii rozpoczęły się w 1937. Karl uzyskał je pod koniec 1939, a proces nadawania go Heinzowi został przerwany przez agresję Niemiec na Holandię (uzyskał je dopiero po zakończeniu II wojny światowej). Jednak już od 1938 obaj bracia mogli występować jako reprezentanci Holandii w oficjalnych zawodach.