Haudemann-Andersen giftet seg i 1989 med Anne Margaret Caroline Stang (født 1960). Han var samboer og gift med Trine Slåttsveen (født 1969) fra 1997 til 2009. De har to sønner sammen. Han ble i 2014 gift med fiolinist Marte Krogh (født 1975), som han siden 2009 hadde vært i forhold med. De skilte seg i 2016.