Tiden da toryene var bannlyst fra regjeringsposisjoner var over, noe som forte til at toryene ble delt i flere fraksjoner og opphørte å fungere som et forent politisk parti. Sentimentale torymentalitet forble, som i skriftene til Samuel Johnson, men i politikken var «tory» ikke mer enn uvennlig epitet for politikere som var nært knyttet til kongen. Betegnelsen «tory» var i denne mening også benyttet på statsministrene lord Bute (1762–1763) og lord North (1770–1782), men disse politikerne betraktet seg selv som whigere.