Balfour delte sin tid mellom det politiske liv og forfatterskapet. Da han ble løst fra sina plikter som privatsekretær av valget i 1880 begynte han å ta mer aktiv del i parlamentsarbeidet. Han var et tid politisk alliert med Lord Randolph Churchill, Henry Drummond Wolff og John Gorst, og denne gruppe på fire ble kjent som «det fjerde parti», som vakte oppmerksomhet ved den fri kritikk som lederen Churchill rettet mot Stafford Northcote, lord Cross og andre fremtredende medlemmer av «den gamle gjengen». Balfour ble da ansett å egne seg til politikken bare for underholdningens skyld, og underhuset tok ham ikke så alvorlig men så på ham som en ung mann fra overklassen som var i parlamentet fordi det var forventet av ham.