Tháng 1 năm 2001, Rumsfeld được bổ nhiệm làm Bộ trưởng Quốc phòng lần thứ hai bởi Tổng thống George W. Bush. Trong chiếc ghế đó, Rumsfeld giữ vai trò then chốt trong cuộc xâm lăng Afghanistan và Iraq. Trước và sau Chiến tranh Iraq, ông khẳng định Iraq có một chương trình vũ khí hủy diệt hàng loạt; thế nhưng không có bằng chứng nào được tìm thấy. Một báo cáo Tổng thanh tra Lầu Năm Góc ghi nhận chính sách của Rumsfeld đã giúp "phát triển, tạo ra, và phát tán những đánh giá tình báo lệch lạc về mối quan hệ giữa Iraq và al Qaida cho các quan chức cấp cao, bao gồm một số kết luận mâu thuẫn với sự đồng thuận của Cộng đồng Tình báo". Nhiệm kỳ Rumsfeld gây nhiều tranh cãi với việc sử dụng tra tấn và bê bối tra tấn và lạm dụng tù nhân Abu Ghraib. Rumsfeld dần mất vị thế chính trị của mình và từ chức cuối năm 2006. Sau khi về hưu, ông xuất bản một cuốn tự truyện, "", cùng với "Rumsfeld's Rules: Leadership Lessons in Business, Politics, War, and Life". Ông mất ngày 29 tháng 6 năm 2021, ở tuổi 88.