Тъй като действията му по време на войната се критикуват от мнозина, Абърдийн се оттегля през 1855 г. и е заменен от Палмерстън, с когото кралицата трябва да се примири. Палмерстън също е отстранен през 1857 г. поради непопулярно поведение във Втората опиумна война. Той е заместен от лорд Дарби. Сред забележителните събития от управлението на Дарби е Сипайският метеж срещу управлението на Британската източноиндийска компания в Индия. След потушаването на бунта Индия е поставена под прякото управление на короната, макар че титлата "императрица на Индия" е въведена по-късно. Вторият кабинет на Дарби не се задържа повече от първия. Той пада през 1859 г. и Палмерстън се връща на власт.