Far til Eivind, overrettssakfører Martin Nielsen, ble i 1866 utnevnt til Haugesunds første byfogd. Han startet i stillingen 1. januar 1867. Mor til Eivind var Karoline Emilie Pettersen. I hjemmet i 1. Langgate i Haugesund, den nåværende Strandgaten, hadde faren et eget husorkester. Familien eide en stor boksamling med både norske og utenlandske forfattere. Martin Nielsen oversatte selv flere bøker fra fremmede språk.