Han begynte sitt politiske engasjement som formann for Progressive Conservative Party i Saskatchewan 1936–1938. Han ble valgt til Underhuset i 1940 og satt helt fram til 1979. Fra 1956 til 1967 var han partileder og bidro med sine gode taleevner til partiets valgseier i 1957. Han dannet en mindretallsregjering og var selv utenriksminister en kort periode. Ni måneder senere utskrev han nyvalg og vant på nytt. Han dannet en flertallsregjering som hadde det største flertallet i landets historie. I hans periode som statsminister var Canada plaget av høy arbeidsløshet og økonomisk tilbakegang, og i 1962 tapte han valget, men kunne allikevel danne en ny mindretallsregjering. Allerede året etter ble hans regjering imidlertid møtt med et mistillitsvotum som tvang den til å gå av, og etter det følgende valg kom Liberal Party of Canada til makten. Fram til 1967 var Diefenbaker opposisjonsleder. Diefenbaker vil for alltid bli husket for Black Friday, den 20. februar 1959. Flyfabrikken Avro Canada bygde på 50 tallet et fly kalt Avro Arrow. Dette var en interceptor, og viste lovende egenskaper.