La carrière internationale de Clemence coïncide avec l'ère la moins réussie de l'Angleterre, cette dernière échouant à la qualification pour les Coupes du Monde 1974 et 1978 et pour l'Euro 1976. Clemence fait partie de l'équipe qui se qualifie pour le championnat d'Europe 1980, mais ce tournoi reste un échec pour l'équipe d'Angleterre. En 1982, il fait partie de l'équipe qui se qualifie pour la coupe du monde, mais là encore, l'Angleterre ne se révèle pas au niveau des attentes qu'elle suscite. Clemence prend sa retraite internationale, peu après, avec un total de 61 sélections. Son rival Shilton finit comme gardien titulaire de l'équipe anglaise pour le reste des années 1980, jouant dans deux Coupes du monde de plus et atteignant un record de 125 capes. Clemence obtient également le capitanat de l'Angleterre, une fois, faisant de lui le premier gardien à exercer la fonction depuis Frank Swift, ce capitanat est obtenu lors d'un match amical de prestige contre le Brésil. Clemence, lors de ce match ne peut toutefois empêcher les Brésiliens de marquer pour l'emporter finalement 1-0 sur l'Angleterre.