I 1874 ble han parlamentsrepresentant tilhørende det konservative parti for valgkretsen Hertford, som han fortsatte å representere til 1885. Våren 1878 ble Balfour privatsekretær til sin morbror Lord Salisbury og han var med Salisbury til Berlinkongressen, der han fikk sine første erfaringer med internasjoal politikk i samband med at konflikten mellom Russland og Det osmanske riket ble løst. Vid samme tid ble han kjent i den litterære verden, ettersom hans (1879) hadde en intellektuell subtilitet og litterær kapasitet som antydet at han kunne gjøre seg bemerket som filosofisk forfatter.