Rahm var sønn av en østerriksk jernbanebetjent og fikk en åtteårig skolegang. Han tok lære som verktøysmaker og arbeidet en tid som dette i Wien.