I 1961 ble han innvalgt i Forbundsdagen fra Frankfurt. Matthöfer mente at størrelsen på statens gjeld var langt over det forsvarlige. Hans sparepolitikk ble møtt med demonstrasjoner og førte til slutt til hans fall som minister. Herbert Wehners kritikk var kraftig: «En finansminister som ikke er i stand til å skaffe en milliard ekstra for Forsvaret, viser at han ikke er oppgaven voksen.» ("Ein Finanzminister, der nicht in der Lage ist, eine Milliarde zusätzlich für die Bundeswehr zu beschaffen, zeigt, dass er den Anforderungen seines Amtes nicht gewachsen ist"). Matthöferers egen form var sakligheten; «Matthöfer mangler enhver tilbøyelighet til patos», ifølge Helmut Schmidt.