Terry fece il suo debutto ufficiale nella Nazionale inglese nel 2003, in occasione di un'amichevole disputata contro la , rilevando al 46' Steven Gerrard. Il CT Sven-Göran Eriksson lo scelse presto come titolare inamovibile al fianco di Sol Campbell, formando la coppia difensiva che avrebbe rappresentato l'Inghilterra in occasione degli Europei del 2004. Durante la manifestazione gli inglesi arrivarono sino ai quarti, con Terry (che saltò solo la gara contro la Francia per infortunio, venendo sostituito da Jamie Carragher) che complessivamente deluse.