Han ble så i 1982 innenriksminister og i 1984 utdanningsminister (poster som hans far hadde hatt på 1960-tallet), der han i hovedsak gjorde seg kjent som en konservativ forsvarer av segregasjon innen utdanning.