Castberg ble valgt inn på Stortinget i 1830 og 1833 som representant for Bratsberg Amt, og i 1836, 1839 og 1842 for .