Elbe møtte Gerda Gottlieb mens de var studenter ved Statens Kunstakademi I København, og de giftet seg i 1904 da Gottlieb var 19 og Elbe var 22. Gerda kom fra en konservativ familie hvor faren var vikar i Den Lutherske kirken.