Hartmut Bagger bodde i Meckenheim i Nordrhein-Westfalen, nær Köln, og var gift og hadde to sønner. En av hans sønner er diplomaten Thomas Bagger, som til 2023 var Tysklands ambassadør til Polen.