Był wychowany przez samotną matkę. Zakończył edukację na poziomie szkoły podstawowej. Przed 1939 pracował jako robotnik drogowy, drwal oraz magazynier w młynie. Służbę wojskową odbył w marynarce fińskiej w połowie lat 30. W czasie wojny zimowej (1939–1940) marynarka wojenna nie prowadziła wielu operacji i Rautavaara kontynuował pracę w młynie. Podczas wojny kontynuacyjnej (1941–1944) został wcielony do armii i spędził dwa lata na froncie. W 1943 został przeniesiony do służby propagandowej i pracował jako dziennikarz frontowego radia. Wówczas rozpoczął karierę piosenkarza.