Han arbeidet som sakfører på Hamar fra 1887 til 1897. I 1890 var Graff i noen måneder konstituert amtmann i Hedmark etter at Ludvig Kyhn døde i stillingen. Fra 1896 til 1906 var Graff amtmann i Finnmark. Han ble ridder av St. Olavs Orden i 1897.