Ulmanis' grandonkel Kārlis Ulmanis var den ledende politikeren i Latvia i mellomkrigstiden. Han tok over makten i landet etter et statskupp i 1934, og ledet landet inntil den sovjetiske okkupasjonen. I 1941 ble Kārlis Ulmanis og hans nære familie (han hadde ingen selv) deportert til Sibir. De fikk tillatelse til å returnere til Latvia (nå Latviske SSR) i 1946, men tre år senere skulle de ha blitt deportert for annen gang, men klarte å unngå dette da Guntis mor hadde giftet seg igjen og hadde tatt den nye mannens etternavn. Da Ulmanis' familie returnerte til Jūrmala gikk han over til å bruke sitt opprinnelige etternavn.