ภายหลังประธานาธิบดีฟอร์ดแพ้การเลือกตั้งในปี 2519 รัมส์เฟลด์ก็กลับไปดูแลธุรกิจส่วนตัว ต่อมาเขาได้ดำรงตำแหน่งประธานบริหารบริษัทเวชภัณฑ์ และต่อมาไปบริหารบริษัทเครื่องรับโทรทัศน์ และไปบริหารบริษัทเทคโนโลยีชีวภาพ ก่อนที่ในปลายปี 2543 เขาได้รับคำชวนให้มาเป็นรัฐมนตรีกลาโหม จากรองประธานาธิบดี ดิก ชีนีย์ ผู้เคยเป็นรุ่นน้องของเขาในทำเนียบขาว และได้รับการรับรองและแต่งตั้งในเดือนมกราคม 2554 ในช่วงการเป็นรัฐมนตรีกลาโหมของประธานาธิบดีบุชนี้เอง รัมส์เฟลด์เป็นผู้มีส่วนสำคัญในการวางแผนและสั่งการปฏิบัติการตอบโต้กลับจากเหตุวินาศกรรม 11 กันยายน ซึ่งเป็นเหตุจุดชนวนสงครามสองครั้ง อันได้แก่ สงครามในอัฟกานิสถาน และ สงครามอิรัก