Olof Palme var yngst av tre barn; hans søsken var Claës Palme (1917–2006) og Catharina Palme Nilzén (1920–2002). Olof var far til sønnene Joakim Palme, Mårten Palme og Mattias Palme.