Năm 1962, de Gaulle bổ nhiệm ông giữ chức Thủ tướng Pháp. Ông đảm nhiệm chức vụ này trong vòng 6 năm, trở thành người điều hành Dinh thự Matignon lâu nhất lịch sử Đệ Ngũ Cộng hòa Pháp. Là người quan tâm tới hiện đại hóa với tầm nhìn dài hạn, ông là người khởi xướng hàng loạt công trình có ý nghĩa chiến lược (thành lập Ủy ban quy hoạch vùng DATAR, xây dựng sân bay quốc tế "Paris", mở rộng mạng lưới đường cao tốc, thành lập các khu trượt tuyết...), cũng như thực hiện kế hoạch khoa học Calcul và dự án máy bay siêu thanh Concorde. Đồng thời, ông cũng tái thành lập Lực lượng cảnh sát quốc gia và Cơ quan quốc gia về việc làm (ANPE). Pampidou cũng là người trực tiếp chủ trì cuộc họp dẫn tới "Thỏa thuận Grenelle" chấm dứt khủng hoảng tháng 5 năm 1968. Sau khi Maurice Couve de Murville thay thế ông làm Thủ tướng Pháp vào năm 1968, ông trở về làm dân biểu tỉnh Cantal. Ông sau đó tuyên bố tham gia ứng cử chức Tổng thống Pháp nếu cuộc trưng cầu dân ý thay đổi Hiến pháp Pháp năm 1969 thất bại.