Graves var offiser og deltok i den amerikanske borgerkrigen der han ble såret i slaget ved Gettysburg. Den militære løpebanen endte i 1870 da Graves var oberst. Etter at karrieren i hæren var over slo han seg opp som forretningsmann i Duluth. Graves var politisk aktiv for Det republikanske parti i Minnesota. Han var ordfører i Duluth i to perioder og medlem av delstatsforsamlingen i Minnesota, først som senator 1873–76 og deretter i representantenes hus 1889–90.