Els anys que van del 1714 fins a l'arribada al tron de Jordi III (1760) van ser difícils pels tory, ja que tenien la desconfiança dels monarques i a més estaven completament dividits entre possibilistes i partidaris d'acceptar la nova realitat i els jacobites que mantenien una postura aferrissadament legitimista. D'altra banda, quan el 1711, degut a l'arribada al tron austríac de l'arxiduc Carles, en mig de la guerra de successió espanyola, els torys van liderar un canvi d'estratègia en la política internacional per arribar a un pacte amb els francesos el 1713; els Hannover ho van entendre com una traïció cap als interessos eminentment antifrancesos que la dinastia mantenia. Són els anys considerats "la travessia del desert dels torys".