Tidlig kom Peter Jebsen med i det offentlige liv. Da Jebsen bodde i Ytre Arna ble han valgt inn i Haus formannskap og ble bygdens ordfører 1861-64 og samtidig valgmann for Søndre Bergenhus amt. Etter at han flyttet til Bergen for godt, ble han 1. januar 1865 innvalgt i Bergens formannskap, hvor han ble sittende til 1. januar 1875, da han fraba seg gjenvalg. I stedet var han medlem av representantskapet til sin død. I sine kommunale verv interesserte han seg særlig for kommunikasjonenes utvikling; det skyldtes hans interesse at den første dampskipsbrygge ved Holbergalmenningen ble anlagt og at den nordlige Tollbubrygge ble forlenget.