בעצתו של הגנרל ויליאם שרמן מינה הנשיא יוליסס סימפסון גרנט ב-25 באוקטובר 1869 את בלקנאפ למזכיר המלחמה במקומו של המזכיר הקודם, ג'ון רולינס שנפטר משחפת. שרמן עצמו שימש כמזכיר המלחמה בפועל לתקופה קצרה לאחר מותו של רולינס. בלקנאפ נתפס כחניכו של שרמן, לאחר שלחם במערכה על אטלנטה והתלווה אליו במהלך הצעדה אל הים. הנשיא גרנט סבר שבלקנאפ לחם כיאות במלחמה והיה ראוי לעמוד בראש מחלקת המלחמה. לאחר כניסתו לתפקיד יישם והמליץ בלקנאפ על כמה יוזמות. הוא המליץ שהקונגרס יפעל לקבוע את ה-1 במאי כתחילתה של שנת הכספים, וכך לאפשר פעולות חשבוניות מדויקות יותר של מחלקת המלחמה. הוא הנהיג את הכנתם של הדוחות ההיסטוריים של מפקדי הצבא לשעבר כדרך לתיעוד פעולותיהם לטובת הדורות הבאים והציע נקיטת צעדים לשימור הפארק הלאומי ילוסטון. עם זאת, לא כל צעדיו של בלקנאפ התקבלו בברכה. הוא עקף את שרמן כאשר החליט על מינויים וצמצם את התקציב שעמד לרשותו, ובכך החליש את סמכותו של הגנרל המפקד של הצבא.