Ustvedt var aktiv Høyre-politiker, og han var leder for Den konservative Forening i Christiania (det senere Oslo Høyre) 1907–1909 og 1916–1918. Han satt i Christiania bystyre i periodene 1898–1901 og 1901–1904. Ustvedt var stortingsrepresentant 1913–1915, og satt i Budgetkomiteen.