Diederichs satt i parlamentet for Nasjonalistpartiet fra 1953 til 1975. Han var økonomiminister fra 1958 til 1967 og gruveminister fra 1961 til 1964. Han ble finansminister i 1967 og satt i denne stillingen til 1975. Som finansminister ble han kjent som «Mr. Gold». Han tjente som seremoniell president fra 1975 til sin død. Han døde i Cape Town av et hjerteattakk etter en tids sykdom 21. august 1978.