Grant utnevnte Bristow til finansminister i juni 1874 som etterfølger av William Adams Richardson etter at han ble involvert i en politisk skatteskandale. Som finansminister tok han initiativ til en etterlengtet intern reorganisering av finansdepartementet, som gikk på å effektivisere en rekke sentrale organer som for eksempel skatteetterforskning og konsoliderte en rekke distrikter for Internal Revenue Services innsamling av skatter og lignende distrikt for United States Customs Service.