Elg Elgesem var gift med Sidsel Elgesem, født Strømme, fra 1952 til 1974. Med henne fikk han sønnene Eyvind (1954), Dag (1957) og Frode (1961). Han giftet seg senere med advokat Turid Skaar og var gift med henne til han døde 57 år gammel, etter noen tids sykdom.