Han var sønn av Gabriel Grubbe Dietrichson Finne (1844–1907) og Alette Sophie Cappelen (1852–1897) som var datter av Severin Diderik Cappelen fra Gjerpen. Blant søsknene var OL-fekter og advokat Severin Finne (1883–1953). Som broren var også Erling medlem av Oslo Fekteklub. Selv giftet Erling seg i 1917 med Astrid Larsen (1892–1918) som var datter av vingrosserer Alfred Larsen. Kona døde i spanskesyken.