ב-1950 מינה הנשיא הארי טרומן את ג'ונסון כסגן מזכיר הצבא למחקר וציוד. במשרה זו הוא שימש עד 1952, אז מינה אותו הנשיא טרומן כתת-מזכיר הצבא. במשרה זו הוא החזיק מאוקטובר 1952 ועד ינואר 1954. ג'ונסון גם כיהן כמזכיר הצבא בפועל מה-20 בינואר ועד 4 בפברואר 1953, כאשר סיים פרנק פייס את התפקיד ועד לאישור מינויו של רוברט סטיבנס במינוי קבוע. הוא גם כיהן כיושב ראש חברת תעלת פנמה בין השנים 1953–1954.