Han var sønn av godseier Frederik Nannestad på Storfosen gods, og giftet seg i 1861 med Frederikke Christine Horneman, datter av eidsvollsmannen Christian Horneman. Han flyttet fra Ørland til Rissa i forbindelse med ekteskapet, og overtok driften av gården Aarnset. Dattera Sara (1867-1961) giftet seg i 1892 med sin fetter Fredrik Nicolay Horneman på Reins kloster. Eiler Nannestad hadde først vært forlovet med Frederikke Christine Hornemans søster Grete, som omkom ved en ulykke i 1833.