Lord Aberdeen ifrågasattes av många för sitt sätt att sköta Krimkriget och han avgick 1855 och ersattes av Lord Palmerston, som drottningen hade försonats med. Palmerston tvingades också att avgå på grund av impopulära åtgärder under en militär konflikt, det andra opiumkriget 1857. Han ersattes av Lord Derby. Under dennes tid utbröt Sepoyupproret mot Brittiska Ostindiska Kompaniets styre över Indien. Efter att upproret krossats sattes Indiens styre direkt under kronan (även om titeln ”kejsarinna av Indien” inte omedelbart instiftades). Derby misslyckades även under sin andra regeringsperiod och Palmerston återinsattes 1859.