Da W.H. Smith døde i 1891 ble han og leder for underhuset. Etter at regjeringen falt i 1892 var han de konservatives opposisjonsleder i underhuset under tre år (lord Salisbury var de konservatives opposisjonsleder i overhuset). Da de konservative igjen kom til makten i 1895 gjenopptok han posten som underhusleder, men først ikke med hell, idet hans håndtering av de mislykkede utdannelsesforslagene i 1896 ble ansett å vise en uvilje mot det slitsomme parlamentsarbeidet. Etter en tid gikk sakene smidigere, og Balfour gjenvant sitt gamle ry. Han hadde gleden av å se et lovforslag om bedre lokalt styre på Irland bli godkjent i parlamentet, og deltok aktivt i debattene om utenriks- og innenrikspolitiske saker som ble behandlet i parlamentet 1895 til 1900.