Nacido en la ciudad productora de carbón de Ashington, Northumberland, ubicada 15 millas al norte de Newcastle, Inglaterra, Milburn fue empleado minero durante la Segunda Guerra Mundial, lo cual significó que tuviera que quedarse a vivir en Ashington y no poder salir a buscar una carrera como futbolista.