Som barn var Olmert medlem i ungdomsorganisasjonen Beitar. Han opplevde også at foreldrene hans ofte ble svartelistet og diskriminert på grunn av deres tilknytning til opposisjonen til det dominerende partiet Mapai. Dette ble imidlertid i 1970-årene mindre skadelig for hans karriere enn det var i 1950-årene, og Olmert lyktes i å starte et fremgangsrikt advokatselskap i Jerusalem.