Haldeman skrev dagbok i sin tid i Det hvite hus. Haldemans dagbøker ble publisert i 1994 etter hans død: . I Det hvite hus ble Haldeman og Ehrlichman kjente som "Berlinmuren" (), ettersom de begrenset andres tilgang til presidenten og de begge var tysk-amerikanere.