Etter å ha flyttet til Indianapolis i USA i 1947, begynte Hargitay med kroppsbygging. I denne perioden jobbet han som snekker og rørlegger, og hadde også adagio-forestillinger sammen med sin første kone, Mary Birge, på nattklubber. Etter å ha trent i fire år begynte han å vinne ulike konkurranser. Det virkelige gjennombruddet kom da han ble Mr. Universe i 1955. På denne tiden var kroppsbygging ansett som uvanlig og sært. Sporten var også dominert av amerikanske utøvere.