Von Haeften trouwde op 21 maart 1903 met Agnes von Brauchitsch (1869-1945). Het echtpaar had een dochter, Elisabeth (1903) en twee zoons Hans-Bernd (1905-1944) en Werner (1908-1944). Zowel Hans-Bernd als Werner waren betrokken bij de mislukte aanslag op Hitler (20 juli 1944) en werden beiden terechtgesteld.