Erns Selmer var sønn av Marius Ludvig Selmer og Nina Maria Mathilda Westerlund, og far til matematikeren Ernst Sejersted Selmer (1920–2006).