Faren var fra Modum og av bondeslekt, men hadde gått inn i Norske Jægerkorps, før han senere ble bryggeriformann og restauratør. Drolsum ønsket å gå i farens fotspor som offiser, men ble hindret av nærsynthet. Han tok i 1864, tok anneneksamen, men arbeidet deretter fire år for Kildeskriftfondet i stedet for videre studier. Han ble hentet til Universitetsbiblioteket av Ludvig Daae, og avanserte raskt. I 1870 ble han amanuensis, og i 1876 ble han ansatt som , altså bibliotekets leder, bare 29 år gammel.