שטר כיהן כמזכיר הצבא בשנים 1961–1962, במהלך משבר ברלין ובמהלך הפלישה למפרץ החזירים, שבחסות ה-CIA כוונה להפלתו של פידל קסטרו מהשלטון בקובה. בתקופתו כמזכיר הצבא בוצעה תוכנית לארגון מחדש של הצבא, מבנה הדיוויזיה הקרבית אורגן מחדש, כוחות הלוחמה המיוחדים הקהילתיים הורחבו, ובמהלך משבר ברלין התחזק הצבא. שטר גם גייס את המשמר הלאומי של אלבמה כאשר ב-1961 הוביל ממשל קנדי את ביטול ההפרדה הגזעית באוניברסיטת אלבמה. ב-1962 התפטר שטר כדי לשמש כנשיא אוניברסיטת אינדיאנה.