Nacido en Hendon (Londres), Philip Stuart fue el segundo de seis hijos de un maestro, Edward Leopold Milner-Barry, que murió en 1917 y su mujer Edith Mary.