Rimestad ble født 25. november 1913 i Stavanger og hans oppvekst var preget av stor arbeidsløshet og utbredt fattigdom. Allerede ti år gammel gikk han i 1. mai-toget, og sangen og flaggborgen gjorde stort inntrykk på unge Rimestad. Han begynte å jobbe som visergutt som 14-åring, og jobbet senere i hermetikkindustrien. I løpet av ungdommen var han arbeidsløs i lengre perioder.