Olof Palme urodził się w zamożnej i konserwatywnej rodzinie. Był synem Gunnara Palme (1886–1934), dyrektora firmy ubezpieczeniowej Thule, oraz Elisabeth von Knieriem (1890–1972). 9 czerwca 1956 zawarł drugi związek małżeński z Lisbeth Beck-Friis. W latach 1949–1952 był żonaty z Jeleną Rennerovą, uciekinierką z Czechosłowacji. Było to jednak małżeństwo fikcyjne, zawarte dla ułatwienia Jelenie Rennerovej wyjazdu z jej kraju po zamachu stanu z 1948. Z Lisbeth Palme miał troje dzieci – synów Joakima, Mårtena i Mattiasa.