Bætzmann ble student i 1858, og oppholdt seg 1860–63 i Italia, hvor han studerte estetikk og historie. 1864–1869 var han amanuensis ved universitetsbiblioteket i Kristiania, og var samtidig redaktør for . 1867–71 var han medarbeider i , og 1865–76 var han korrespondent for det svenske Aftonbladet. Som ung mann sto han under påvirkning av Bjørnstjerne Bjørnson, som ledet ham med i kampen for demokratiske reformer. Høsten 1871 trådte han derfor inn i redaksjonen av sammen med H. E. Berner.