Redan år 1841 hade torypartiet under Robert Peel kommit till makten.