Bakke var aktiv i nynorskbevegelsen i mange år. I 1887 var han redaktør av , en av de første nynorskavisene. Han var fra 1910 formann i direksjonen for også det et nynorsk-blad. Han var sentral i Nordre Bergenhus Amts Dampskibsselskab og i fylkets Venstre-forening. Fra 1897 til 1900 var han bestyrer av det nyåpna Vaardals Teglverk.