Han var sønn til filologen Carl Wilhelm Elberling (1800–1870) og hustru Dorthea Flensted (1801–50), og dermed bror til forfatteren Rudolf Emil Elberling (1835–1927). Etter å ha tatt magisterkonferens i naturhistorie i 1859, virket han i årene 1861–63 som assistent ved Mineralogisk Museum og ble deretter ansatt som assistent ved Det Kongelige Bibliotek. I 1901 ble han bibliotekar og virket i denne stilling til 1915. Han var særlig interessert i bokbindets historie og fremstillingsteknikk.