所得税廃止、アイルランド国教会を廃止、初等教育法のなかで、第一次グラッドストン内閣が行っていないものはどれか?
代わって組閣の大命を受け、第一次グラッドストン内閣を組閣した。内政において様々な改革を実施した。まず先の総選挙での公約通りアイルランド国教会を廃止した。不在地主に理由なく追い出されたり、法外な地代をかけられたアイルランド小作人への補償制度を定めた法律も制定したが、これはほぼ「ざる法」に終わった。他の欧米諸国と比べて小学校教育普及が遅れていることを念頭に初等教育法(英語版)を制定して小学校教育の普及を図った。外務省以外の省庁で採用試験を導入し、また軍隊の階級買い取り制度を廃することで、官界や軍における貴族優遇に歯止めをかけた。労働者上層に選挙権が広がったことを念頭に秘密投票制度の導入も行った。労働組合法を制定し、労働組合が賃金と労働時間以外のことを交渉するのを解禁した。一方で外交は不得手で、ドイツ帝国の勃興やロシア帝国のパリ条約黒海艦隊保有禁止条項の一方的破棄などを阻止できず、またアメリカ合衆国に対してもアラバマ号事件で賠償金を支払うことになるなど、相対的にイギリスの地位を低下させた。
自由党内の分裂が深刻化し、1874年には所得税廃止を目指して解散総選挙に打って出るも、大英帝国の威信回復を訴えるディズレーリ率いる保守党が勝利し、総辞職を余儀なくされた。

1875年には自由党党首も辞し、半ば引退した生活に入ったが、1875年から1877年にかけてのバルカン半島をめぐる騒乱でディズレーリ政権の親トルコ・反ロシア外交を批判する運動の先頭に立って政治活動を再開した。総選挙を間近にした1879年には「ミッドロージアン・キャンペーン(英語版)」を展開し、ディズレーリの第二次アフガン戦争、トランスヴァール共和国併合、ズールー戦争などの帝国主義政策を批判した。