Терри дебютировал в составе национальной сборной Англии под руководством Свена-Ёрана Эрикссона в июне 2003 года в матче против сборной Сербии и Черногории, выйдя на замену по ходу игры. Впервые же в стартовом составе вышел на поле спустя два месяца в матче против сборной Хорватии. Впоследствии выступил на чемпионате Европы 2004 года. Сборная Англии смогла выйти из группы со второго места, выиграв матчи против сборных Хорватии и Швейцарии. В 1/4 финала английская сборная не смогла обыграть Португалию по результатам серии пенальти. Джон реализовал свой удар. В 2005 году в матче против Польши Терри впервые получил капитанскую повязку сборной Англии, которая ему досталась после замены Майкла Оуэна.