Han satt i Hilmar Baunsgaards regjering som forsvarsminister fra 1968 til 1971 og finansminister fra mars 1971 til regjeringen gikk av i oktober samme år. Han ble så valgt til formann i den konservative folketingsgruppen. Det Konservative Folkeparti gikk sterkt tilbake ved folketingsvalgene i 1973, og Ninn-Hansen lå i en åpen strid med formannen i partiets hovedstyre, Erik Haunstrup Clemmensen. I 1974 trådte både Ninn-Hansen og Clemmensen til side for å kunne samle partiet bak Poul Schlüter som ny partileder.