W lutym 1960 Charles de Gaulle mianował go ministrem obrony. Pierre Messmer urząd ten sprawował nieprzerwanie do czerwca 1969 w sześciu kolejnych gabinetach, którymi kierowali Michel Debré, Georges Pompidou i Maurice Couve de Murville. Początek pełnienia tej funkcji przypadł na końcowe lata wojny algierskiej zakończonej uznaniem niepodległości Algierii. Jako minister obrony odpowiadał także za przeprowadzony w latach 60. proces reorganizacji francuskiej armii. W okresie rozruchów zapoczątkowanych w maju 1968 odradzał prezydentowi użycie wojska.