I mars 1971 gikk Fraser brått av i protest mot hva han sa var Gortons innblanding i hans ansvarsområde. Det førte til Gortons avgang og han ble erstattet av William McMahon. Under dennes ledelse kunne Fraser igjen bli undervisningsminister.