Etter å ha deltatt i andre slesvigske krig i 1864 bosatte Bajer seg i København. Han livnærte seg som lærer, forfatter og oversetter. Han hadde flere interesser og blant de viktigste var kvinnesaken, utviklingen av det nordiske fellesskapet og det internasjonale fredsarbeidet. I 1871 var han sammen med ektefellen Matilde Bajer medstifter av Dansk Kvindesamfund og i 1886 av Kvindelig Fremskridtsforening. Bajer var pasifist og stifter av Dansk Fredsforening og Det internasjonale fredsbyrå i Bern i Sveits.