Hans far Harry F. Haldeman var en formuende forretningsmann som donerte penger til republikanerne. Familien Haldeman var medlemmer av trossamfunnet Kristen Vitenskap. Bob Haldeman studerte ved University of Redlands, University of Southern California og University of California at Los Angeles. I studietiden ved UCLA ble han kjent med John Ehrlichman. Deres vennskap viste seg å bli langvarig og de var senere begge blant Nixons nærmeste medarbeidere.