Ingar Nilsen var bror av politikeren og forfatteren Anthon B. Nilsen, som publiserte en rekke bøker under pseudonymet «Elias Kræmmer». Foreldrene var skipsfører Bernt Nilsen (1815–60) og senere asylbestyrer Elisabeth (“Lise”) Marie Selvig (1814–93). Familien bodde i Svelvik inntil faren omkom i et forlis i 1860; da flyttet de til Kristiania. Moren Lise tok forefallende arbeid for å forsørge familien, inntil hun ble ansatt som bestyrer ved Grønland børneasyl.