Haffner vokste opp i Berlin-Moabit. Faren, Carl Louis Albert Pretzel, var en vel ansett berlinsk reformpedagog og rektor, som under Weimarrepublikken ble statstjenestemann i det prøyssiske kulturministerium. En av Haffners brødre var tyskfilologen Ulrich Pretzel.