Han var bror av professor Francis Gottfred Harbitz og sønnesønn av tidligere stortingspresident Georg Prahl Harbitz.