Han var medlem av herredsstyret i Børsa og medlem av formannskapet fra 1844 til 1863. Han var ordfører i Børsa fra 1872 til 1875. Han hadde også de fleste andre kommunale verv. Handberg var også valgmann for Børsa prestegjeld ved flere stortingsvalg. Ole Handberg var høyremann.