En octobre 1984, il est blessé dans l’attentat à la bombe de Brighton intenté contre le Premier ministre Margaret Thatcher. Sa femme Margaret en ressort blessée à vie, contrainte de rester en fauteuil roulant. Il quitte le cabinet après les élections générales britanniques de 1987 pour s'occuper de son épouse. Il a pensé se présenter à la direction des Conservateurs après la démission de Margaret Thatcher en 1990, mais a renoncé pour respecter la promesse faite à son épouse de retirer de la bataille politique.