Han slet sterkt med å håndtere hungersnøden i Irland, og det er sagt at i hans tid som statsminister i sin første periode ødela whig-partiet (han var siste statsminister fra Whig), og at hans andre periode nesten ødela det liberale partiet.