Ikke alle medlemmer av partiet var tilfreds med Tory-navnet. George Canning brukte først termen på 1820-tallet, og det ble foreslått som navn på partiet av John Wilson Croker på 1830-tallet. Det ble senere antatt under styret til Robert Peel rundt 1834. Peel sees på som grunnleggeren av partiet. Denne grunnleggelsen føres tilbake til det såkalte Tamworth-manifestet, som var forfattet av Peel.