Terry đã cùng đội tuyển Anh tham dự Giải vô địch bóng đá châu Âu 2004. Tại giải đấu này, sau khi vắng mặt trong trận đầu tiên với đội tuyển Pháp vì chấn thương chưa kịp hồi phục, Terry đã trở lại từ trận gặp Thụy Sĩ. Trong trận tứ kết với Bồ Đào Nha, anh đã thực hiện thành công lượt sút thứ 4 trong loạt đấu luân lưu nhưng sau đó đội tuyển Anh đã bị loại với kết quả sút luân lưu là 6-5.