כמה מחברי הקונגרס של הקונפדרציה התנגדו להקמתו של צבא בעתות שלום וכן התנגדו להקמתה של אקדמיה צבאית (אחת מהצעותיו העיקריות של נוקס) על בסיס הטענה שייווצר מעמד צבאי בעל יכולת לשלוט על החברה. בתחילה הציע נוקס להקים צבא שיכלול בעיקר מליציות מדינתיות, ובמיוחד שאף לשנות את גישתו של הקונגרס בנוגע לצבא המנוהל באורח דמוקרטי. אף על פי שהתוכנית נדחתה בשלב הראשון, רבים מפרטיה אומצו בסופו של דבר כאשר עוצב המבנה המנהלי של צבא ארצות הברית. הצורך בשיפור מעמדו של הצבא קיבל דחיפות ב-1786 כאשר פרץ מרד שייז במסצ'וסטס שאיים להשתלט על נשקיית ספרינגפילד. נוקס יצא לספרינגפילד בעצמו לדאוג למערך ההגנה שם. אף על פי שבנג'מין לינקולן הקים מיליציה ודיכא את המרד, המרד הדגיש הן את החולשה של הצבא והן את הליקויים בתקנון הקונפדרציה שהפריעו ליכולות הקונגרס בפרשה זו. לאחר המרד כינס הקונגרס את ועידת החוקה, שבה נוסחה חוקת ארצות הברית התקפה עד היום. בראשית 1787 שלח נוקס לוושינגטון טיוטת הצעה להקמת ממשלה שדמתה בסופו של דבר למבנה הממשלה שעליה הוחלט. כאשר שאל וושינגטון את נוקס אם עליו להשתתף בוועידה הוא הסכים ואמר: "יהיו אלו נסיבות מכובדות ביותר שיובילו לתהילתך, זאת בהתחשב בתקופה הנוכחית ובתקופות לעתיד לבוא, והן יזכו אותך בכינוי המפואר של 'אבי האומה'". זהו ככל הנראה המסמך המוקדם ביותר בו נעשה שימוש בכינוי זה בהקשר של וושינגטון. נוקס פעל לקידום החוקה החדשה, שיגר תכתובות רבות במושבות רבות בנוגע לכך,אך בעיקרה הוא התרכז בקבלת ההחלטה על אימוץ החוקה במסצ'וסטס, שם נראה היה שהתמיכה בה מצומצמת. לאחר קבלת החוקה ראו בו רבים כמועמד ראוי לתפקיד סגן הנשיא, אך הוא העדיף להישאר במחלקת המלחמה ולתפקיד סגן הנשיא נבחר ג'ון אדמס. עם קבלת החוקה החדשה והקמתה של מחלקת המלחמה שונה תוארו של נוקס למזכיר המלחמה (Secretary of War).