Andersen var gift med Hildborg Elisabeth Conradi (1855–1878), og sammen hadde de sønnen Ove Andersen som ble høyesterettsadvokat, og senere sorenskriver, stortingsrepresentant, og ordfører i Arendal (1919–1922).