Da krigen var slutt reiste Belknap tilbake til Iowa og arbeidet som kemner i perioden 1865 til 1869. President Grant utnevnte Belknap som krigsminister i 1869 etter William Sherman. Belknap ble anklaget for korrupsjon og Representantenes hus vedtok å reise riksrettssak mot ham. Belknap gikk av, men saken ble likevel behandlet i Senatet. Der ble han frifunnet, idet det ikke var tilstrekkelig flertall til å dømme ham. Det ble avgitt 35 stemmer for fradømmelse av embetet og 25 mot. Av de 25 som stemte for frifinnelse opplyste 22 at de mente at Senatet ikke kunne behandle saken etter at Belknap var gått av.