Hjalmar Pettersen var eldste sønn av storkjøpmannen Gunnerius Pettersen, og vokste opp i Storgaten i Christiania. I oppveksten var han særlig glad i å lese, og han begynte tidlig å vise interesse for samling av for eksempel folketradisjoner. Han ble student i 1874, leste norsk, tysk, engelsk og fransk, og tok filologisk embetseksamen i 1882. I 1875 foretok han en reise til Paris, som la grunnlaget for hans forkjærlighet for Frankrike. I 1877 ble han ansatt ved universitetsbiblioteket, og i 1887 fikk han fast ansettelse som amanuensis.