Hartmut Bagger ble født i Braunsberg i Øst-Preussen. Som barn flyktet han med sin mor og lillebror fra Den røde armé og de kom som flyktninger til Celle vest i Tyskland da han var seks år.