Milnes ble født og vokste opp i London. Som barn hadde han blant andre H.G. Wells som lærer. Han gikk på Westminster School og Trinity College i University of Cambridge der han studerte matematikk. Under Cambridge-tiden var han redaktør for studentmagasinet .