Arneberg var amtmann i Bratsbergs amt fra 1881 til 1889. Han var statsråd ved Statsrådsavdelingen i Stockholm i Emil Stangs første regjering fra 1889 til 1890. I 1890 ble han justisminister, et verv han hadde frem til 1891. I perioden fra 1892 til 1894 var han stortingsrepresentant fra valgkretsen Brevik.