Hans far var gårdbruker, og Bjørnsen ble i 1802 kirkesanger og skolelærer i Hvidesø (Kviteseid). Han jobbet under biskop Hansen i Kristiansand noen år, og ble i 1806 beskikket, av biskop Keyser. I 1812 ble han forligelseskommissær.