Hans farfar, en engelskmann, slo seg ned i Tyskland og giftet seg med en tysk kvinne. Deres sønn, Charles Milner, praktiserte som lege i London og ble senere i engelsk ved Eberhard-Karls-Universität Tübingen. Alfred Milner utdannet seg først ved Tübingen, så ved King's College i Cambridge og under Benjamin Jowett, som student ved Balliol College i Oxford fra 1872 til 1876. Han gikk ut i 1877 med beste karakterer i klassisk etter å ha vunnet Hertford-, Craven-, Eldon- og Derby–stipender og ble valgt til midlertidig stilling ved New College.