Le président Franklin Pierce reconnaissait les compétences financières de Guthrie et l'a nommé, en conséquence, Secrétaire du Trésor en 1853. Il est rapidement devenu le membre le plus influent du cabinet Pierce tout en critiquant son prédécesseur, Thomas Corwin, qui avait pris des arrangements privés pour des rachats de dettes. Quant à ses idées, Guthrie était opposé à la création d'une banque nationale et très attaché à l'existence d'une monnaie indexée sur les métaux précieux comme l'or ou l'argent. Il défendait d'ailleurs l'idée d'une monnaie universelle qui serait convertible en or à la demande. Durant son mandat, le Trésor est resté largement excédentaire grâce à la découverte d'or en Californie, il a notamment utilisé ses excédents pour rembourser la dette nationale, qui est passée de 63 millions de dollars en 1853, à 25 millions de dollars en 1857. Il a également acheté des lingots d'argent pour créer de la monnaie afin d'aider les banques en difficulté (en remettant de la monnaie en circulation et en augmentant leurs réserves en voie d'épuisement). Guthrie s'est aussi attelé à réformer le département du Trésor dans son entier en encourageant la mise en place de processus plus efficaces, particulièrement en exigeant des agents de la douane des rapports mensuels plutôt que trimestriels. En 1853, il a aussi employé le capitaine Alexander Bowman du Corps des ingénieurs de l'armée des États-Unis afin de commencer la construction d'une extension dans l'aile sud du "Treasury Building". Au vu de ces nombreuses actions, beaucoup ont considéré Guthrie comme étant le meilleur Secrétaire du Trésor depuis Alexander Hamilton.