Ved siden av sitt profesjonelle virke var han aktiv i flere organisasjoner, deriblant Riksmålsforbundet. Bakke var formann i riksmålsforeningene i Sandnes, Halden og Oslo, viseformann i forbundet 1938–1939 og formann 1939–1945. Han var medlem av Halden formannskap 1916–1934 og innvalgt på Stortinget fra kjøpstedene i Østfold og Akershus fylker 1925–1936. Av øvrige verv kan nevnes formann i Halden Høyre 1915–1934, styremedlem i , styremedlem i Halden Elektrisitetsverk og medlem av Fredrikshald skolestyre 1919–1925. Han var forfatter av flere biografiske, lokalhistoriske og bedriftshistoriske utgivelser.