Bergh ble valgt inn på Stortinget første gang i 1844 for Hedemarkens amt. Han ble gjenvalgt i Stortingsvalgene i 1847, 1850, 1853, 1856, 1859 og 1862, de to siste periodene for Smaalenenes amt.