Normann giftet seg to ganger, først med Catharina Henriette Hubertine Weitgan (1845-1911), som han fikk fem barn med (Emma, Otto, Walter, Olga og Ella), Etter at hustruen døde, giftet han seg med Luise Rostalski (1883-1954), som han fikk ytterligere et barn med, sønnen Eilert Adelsteen Normann jr., i 1909. Han er far til maleren Emma Pastor Normann (1871–1954). Han var en av lærerne hennes i Tyskland, men de kom på kant med hverandre da Eilert jr. ble født og Normann giftet seg på nytt etter morens død. Emmas datter Helga Normann Leknes (1902-1987) ble også kunstmaler og ballettdanser i Tyskland.