Fils de pasteur, Bajer fut officier dans l'armée danoise, combattant durant la guerre des Duchés de 1864 contre la Prusse et l'Autriche, au cours de laquelle il fut promu premier lieutenant. Il fut démobilisé en 1865, puis s'installa à Copenhague, où il devint professeur, traducteur et écrivain.