Nachdem Milner bereits bei der U-17-Europameisterschaft 2003 vertreten und mit der Mannschaft im Halbfinale am späteren Sieger Portugal gescheitert war, berief ihn Trainer Les Reed bereits im Alter von 17 Jahren in das Aufgebot für die U-20-Weltmeisterschaft 2003 in den Vereinigten Arabischen Emiraten. Beim dortigen Vorrundenaus blieb er ohne Einsatz. Nach nur sechs weiteren Spielen für die U-20, in denen ihm vier Tore gelangen, wurde er von Trainer David Platt bereits in die U-21 beordert, in der er schließlich am 30. März 2004 sein Debüt gegen Schweden gab. Im Zuge der Qualifikation zur U-21-Europameisterschaft 2007 gelang Milner im Spiel gegen Wales sein erstes Tor für die "Young Lions", zumal er in diesem Spiel erstmals im zentralen Mittelfeld eingesetzt wurde, ähnlich wie es in seinen Vereinen ebenso der Fall war. Der Mannschaft gelang die Qualifikation zur EM 2007, bei der man im Halbfinale gegen die Niederlande in einem 12:13-Elfmeterkrimi ausschied. Milner traf in diesem zwei Mal vom Punkt und konnte im gesamten Turnierverlauf überzeugen, sodass A-Nationalmannschaftstrainer Steve McClaren erwog, ihn in einem Testspiel gegen Deutschland einsetzen. Im Endeffekt wurde er vorerst nicht berücksichtigt.