Han var oldebarn av offiseren Johan Frederich Wilhelm von Haffner, en av kong Christian Frederiks nærmeste medarbeidere.