I sin første ordførerperiode var Solberg i 1858 med på etableringen av Birkenes sparebank. Her satt han i forstanderskapet (1859–1893), og var dets første leder. Han satt også i kontrollkomitéen, og var bankens revisor (1867–1883). Solberg var sentral i arbeidet for riving av Birkenes gamle kirke og var nestleder i byggekomitéen ved oppføringen av nåværende Birkenes kirke (vigslet 1858). I sin ordførertid startet han også prosessen med å få utskilt Birkenes som eget prestegjeld (fra Tveit) og ansettelse av egen sogneprest.