De gjenværende toryene ble nå avskjediget fra posisjoner, og som et politisk parti var det sendt ut i villmarken for et halvt århundre, noe som tilsvarer styrene til Georg I og Georg II, skjønt tidvis hadde enkeltstående toryer posisjoner i disse monarkenes whigregjeringer. For det meste av denne perioden (først under lederskapet til sir William Wyndham), opprettholdt toryene enighet innad i partiet, og med tidvise håp om å gjenerobre posisjoner, særlig da Georg II i 1727 kom på tronene, og fallet til regjeringen til sir Robert Walpole i 1742. De fungerte som en forent, om enn forgjeves opposisjon til whigenes korrupsjon og skandaler. Ved tider samarbeidet de med den indre opposisjon innenfor whigene, men det ideologiske gapet mellom toryene og opposisjonswhigene forhindret dem å fungere som et enkelt parti.