Alfred Milner ble født i Gießen i Storhertugdømmet Hessen (nå del av det vestlige sentrale Tyskland) og var eneste sønn av Charles Milner. Hans mor var datter av generalmajor John Ready, tidligere viseguvernør av Prince Edward Island og senere Isle of Man.