Sverdrup var en meget benyttet mann i kommunalt styre. Han var medlem av Kolvereid herredsstyre i 21 år, formann i skolestyret fra 1900 til 1904, ordfører fra 1905 til 1913 og varaordfører fra 1917 til 1919. Jakob Sverdrup var den siste i rekken av Høyre-ordførere i Kolvereid herred siden broren Adolf Sverdrup ble ordfører i 1886.