Après le référendum d'avril 1962 approuvant les accords d'Évian, il est nommé Premier ministre le . C'est un quasi-inconnu que nomme le général de Gaulle pour succéder à Michel Debré. Sa carrière faillit s'interrompre quand, à l'été 1962, il mit sa démission en jeu pour obtenir du général de Gaulle la grâce du général Jouhaud, l'un des putschistes d'Alger, qui aurait dû être fusillé après sa condamnation à mort.