Han var sønnesønn av forsikringsmannen og den liberale politikeren Sven Palme (1854–1934), som satt i Andra kammaren i Riksdagen. Faren Gunnar Palme (1886–1934) var adm. dir. i forsikringsselskapet Thule. Moren var Elisabeth Sophie von Knieriem (1890–1972), som var av baltisk-tysk opphav og født i Latvia. I løpet av 1 år mistet familien Palme to av sine mannlige overhoder, da både bestefar Sven og far Gunnar døde med kort tids mellomrom. Dette påvirket i stor grad Olof Palme, som etter dette sto uten to av sine mest innflytelsesrike forbilder tidlig i livet.