Gladstonesta tuli valtiovarainministeri lordi Aberdeenin hallitukseen, joka koottiin whigien ja peeliläisten pohjalle. Hän yritti kumota tuloveron, mutta päätyi lopulta korottamaan sitä, koska Krimin sota nieli valtion varoja. Hallitus kaatui vuonna 1855 sen kieltäydyttyä teettämästä selvitystä Krimin sodan aikaisen armeijan tilasta. Lordi Derby palasi pääministeriksi 1858, ja Gladstone kieltäytyi jälleen ministeriydestä, osaksi poliittisista syistä ja osin siksi, ettei halunnut työskennellä samassa hallituksessa Disraelin kanssa. Derbyn hallituksen kaaduttua 1859 Henry Palmerston muodosti hallituksen whigeistä ja peeliläisistä, valtiovarainministerinä jälleen Gladstone.