Da Petersen trådte ut av regjeringen i 1919, ble han fylkesmann i Hordaland med sete i Bergen. Han satt i embedet frem til 1929, da han søkte avskjed på grunn av sykdom.