Shermans motvilje mot kompromisser med etablert konsensus førte til at han aldri greide å tilpasse seg britisk politikk og politikere. Hans stjerne skinte sterkt en kort tid etter at Thatcher ble statsminister, men ved 1982 var hans slitasje på forholdet til Thatcher åpenbart og han ble utelukket fra de indre sirkler. I juli 2005 ble de forent ved en mottakelse i forbindelse med hans bok .