Nació en Gießen, Hesse-Darmstadt (ahora parte del centro oeste de Alemania ), hijo único de Charles Milner, Doctor en Medicina, cuya esposa era una hija del General Mayor John Ready, antiguo teniente Gobernador de la Isla del Príncipe Eduardo, más tarde la Isla de Man.