Foreldrene var skipsfører Bernt Nilsen (1815–60) og senere asylbestyrer Elisabeth (“Lise”) Marie Selvig (1814–93). Han var bror av høyesterettsadvokat Ingar Nilsen (1848-1903).