Han kom fra en opphavelig tysk patrisierslekt. Han vokste opp i Dalby og Stubberup, nord for Kerteminde kjøpstad på Fyn, der faren var sogneprest. Farfaren Jakob Baden Olrik var borgermester i Helsingør og medlem av Landstinget. En eldre bror av Elias, Iakob Baden Olrik, ble katolsk prest og æreskammerherre hos paven. Han hadde også broren Mogens, som ble lege, og søsteren Ingeborg, som ble forfatter.