לאחר הוועידה החוקתית, היה עימות בנוגע לאשרור החוקה. כל מדינה נאלצה לכנס ועידה מיוחדת שתכריע האם היא מסכימה לחוקה. כדי לתמוך באישור החוקה על ידי מדינת ניו יורק, כתב יחדיו עם אלכסנדר המילטון וג'ון ג'יי את מסמכי הפדרליסט, סדרת מאמרי פרשנות והסברים על החוקה החדשה. ג'ון ג'יי חלה לאחר כתיבת חמישה מאמרים, אולם מדיסון כתב עשרים ותשעה מאמרים והמילטון חמישים ואחד. הם פורסמו כספר והפכו לתמיכה הבולטת ביותר בחוקה החדשה. הפסקה המפורסמת ביותר שכתב מופיעה במאמר ה-51:
"אם בני אדם היו מלאכים, שום חוקה לא הייתה נחוצה. אם מלאכים היו מושלים, שום פיקוח חיצוני או פנימי על הממשל לא היה דרוש. ביצירת ממשלה שמנהלת בני אדם על ידי בני אדם, כאן מצוי הקושי הגדול. עליך תחילה ליצור ממשלה שתוכל לשלוט בנשלטים, ובאותו הזמן לדאוג שתשלוט בעצמה".
היה ידוע שאם וירג'יניה, המדינה המאוכלסת ביותר דאז, לא תאשרר את החוקה, הממשל המרכזי לא יצליח. ב-2 ביוני 1788, כשהחלה הוועידה בווירג'יניה בנוגע לחוקה, אמנם תשע מדינות כבר אשררו את החוקה, אך ניו יורק, מעוז האנטי-פדרליזם והמדינה השנייה בגודלה, לא הייתה מוכנה לאשרר את החוקה ללא וירג'יניה. בנוסף, ג'ורג' וושינגטון היה מווירג'יניה, והימנעות מאשרור החוקה הייתה מונעת ממנו לשרת כנשיא. הצירים מווירג'יניה האמינו שהיבחרו של וושינגטון היה תנאי לקבלת החוקה החדשה. רוב הצירים האמינו שתושבי וירג'יניה התנגדו לחוקה. מדיסון לא רצה להתערב בנושא, אולם נאלץ להתערב כשהמצב נראה היה חמור.
המדינות לא רצו ליצור ממשל מרכזי חזק, ולכן היה קשה לאשרר את החוקה אם זאת תיתפס כלוקחת סמכויות מהמדינות. מדיסון, שלא היה נואם ציבורי מוצלח, נאם בוועידה של וירג'יניה לטובת החוקה, בטענה שהממשל יהיה מוגבל ושיהיו לו סמכויות מוגדרות. מדיסון הצליח לשכנע נכבדים לתמוך באשרור החוקה. מדיסון גם הבטיח העברת מגילת זכויות שתגביל את כוחה של הממשלה.
הוצע שלפני אשרור החוקה, תוגש למדינות רשימה של זכויותיהן. לבסוף ההחלטה נפלה, והוחלט לאשרר את החוקה ב-28 ביוני.
בנוגע לנושא העבדות, אמר מדיסון שהשחורים הם "גזע חסר מזל" ושהאמין בטבעם האנושי. הוא הציע פשרה - העבדים יחשבו לשלוש חמישיות מאזרח רגיל בנוגע לייצוג הקונגרס. הוא האמין שהממשלה ובעלי העבדים יגנו עליהם.
מדיסון כונה עוד בחייו "אבי החוקה", אולם הוא עצמו סירב לכך. הוא טען שהחוקה לא הייתה יציר מוחו בלבד, אלא תוצר של רבים.
חבר בקונגרס.
לאחר אישור החוקה, מדיסון היה לחבר בית הנבחרים מטעם מדינת וירג'יניה. הוא רצה להיבחר בתחילה כסנאטור, אולם מתנגדיו רצו למנוע ממנו קידום. מדיסון התמודד על המושב שלו מול עוד נשיא לעתיד, ג'יימס מונרו, אולם ניצח אותו והפך למנהיג חשוב בקונגרס. הוא השיג 57% מהקולות ב-1789 ו-98% ב-1790.
אביה של מגילת הזכויות.
הרעיון למגילת זכויות הוצע בסוף הוועידה החוקתית, אולם הצירים חשבו שההליך לא נחוץ. מתנגדי הפדרליזם הצביעו על המחסור במגילת הזכויות כסיבה להתנגדות לחוקה החדשה. אף מדינה לא התנתה את אשרור החוקה במגילת זכויות, אולם כמה מדינות רצו בכך. גם לאחר אשרור החוקה המדינות דרשו זאת. מדיסון התנגד למגילת זכויות ספציפיות מכמה סיבות: הוא חשב שהצעד אינו נחוץ, כיוון שמטרתה להגן מפני כוחות שלא הוענקו לממשל המרכזי. הוא גם ידע שאישור זכויות מסוימות יוביל לכך שזכויות אחרות יעדרו מהמגילה. בנוסף, מגילות זכויות מקומיות לא הצליחו לחסום את כוחה של הממשלה.
אף על פי שמעטים רצו לדון במגילת זכויות, לחץ מדיסון על הנושא. הקונגרס רצה לחכות עד להקמת הממשלה החדשה לפני תיקון החוקה. למרות זאת, חשש מדיסון מפילוג בנושא החוקה. הוא האמין שהחוקה לא הגנה על הממשל באופן מספק, ושיש לתקן אותה. היה זה הוא שהציע בהצלחה את עשרת התיקונים הראשונים לחוקה, הידועים בשם מגילת הזכויות, בהתבסס על עבודתו המוקדמת של ג'ורג' מייסון. הוא הציע אותם ב-8 ביוני 1789.
מדיסון תמך בתוקף בזכותם של האמריקנים למשפט בפני חבר מושבעים. הוא הגיש בתחילה תיקון לחוקה שהבטיח לכל אזרח זכות למשפט מול חבר מושבעים במשפט אזרחי. כשהתיקון נפל, הוא הגיש אל מגילת הזכויות את הזכות למשפט אזרחי בפני חבר מושבעים, בתור התיקון השביעי לחוקת ארצות הברית. ביוני 1789, טען שסוג זה של משפט יבטיח את חירותם של האזרחים.
הסנאט שינה במקצת את התיקונים והגיש שנים עשר תיקונים לחוקה. הצעתו של מדיסון להחיל חלקים ממגילת הזכויות על המדינות ועל הממשל המרכזי בוטלו. ועדה מיוחדת הגישה ב-24 בספטמבר 1789 שנים עשר סעיפים, שאושרו למחרת היום.
הסעיפים השלישי עד השנים עשר אושרו כתיקונים לחוקה ב-15 בדצמבר 1791 והפכו למגילת הזכויות. הסעיף השני הפך לחלק מהחוקה רק ב-1992, בתור התיקון ה-27 לחוקת ארצות הברית. הסעיף הראשון עדיין ניצב להחלטת המדינות - זהו סעיף שקובע את שינוי יחסי הכוחות בבית הנבחרים.
עימותים בנושאי חוץ.
כשבריטניה וצרפת יצאו למלחמה ב-1793, ניצבה ארצות הברית באמצע. הסכם הסחר עם צרפת מ-1778 עדיין היה תקף, ורוב הסחר של המדינה היה עם בריטניה. ב-1794 התקרבה מלחמה מול הבריטים, שהחרימו ספינות אמריקניות שסחרו עם מושבות צרפתיות. מדיסון האמין שארצות הברית חזקה יותר מבריטניה ושמלחמת סחר איתה תצליח ותבטיח עצמאות מלאה. מדיסון טען שהמושבות הבריטיות זקוקות למזון אמריקני, בניגוד לאמריקנים שיכלו לספק את צורכיהם בעצמם. וושינגטון סירב לכך ושמר על יחסי סחר ידידותיים עם בריטניה בעזרת הסכם ג'יי של 1794. מדיסון לחם בהסכם - וכך הוביל ליצירת מפלגות. הוא נכשל בסנאט ובבית הנבחרים, וההסכם הוביל לעשור של סחר משגשג עם בריטניה (ולכעס צרפתי שהוביל למלחמה בלתי רשמית). המאפיין העיקרי של כהונתו של מדיסון בקונגרס היה רצונו להגביל את כוחה של הממשלה הפדרלית למען סמכויותיהן של המדינות הנפרדות.
בארצות הברית, הבוחרים נחלקו בנושאים רבים, והדבר הוביל ליצירתן של שתי המפלגות הראשונות בארצות הברית: הפדרליסטים, שתמכו בהמילטון והאמינו בממשל מרכזי חזק, והדמוקרטים-רפובליקנים, שתמכו בג'פרסון, והאמינו בממשל מרכזי מוגבל.
הקמת המפלגה הדמוקרטית-רפובליקנית.
לאחר אשרור החוקה ויצירת הקבינט הראשון, החלו שתי המפלגות להתארגן. תומכיו של אלכסנדר המילטון תמכו בחיזוק הממשל המרכזי, ומתנגדיו תמכו בזכויות למדינות ובממשל מקומי. כמזכיר האוצר, הקים המילטון מוסדות רבים כבנק הראשון של ארצות הברית. מדיסון ניסה לחסום את הבנק ללא הצלחה, בטענה שהחוקה לא הרשתה לממשלה ליצור את הבנק. המילטון טען שג'פרסון ומדיסון עוינים אותו.
ב-1798, תחת הנשיא ג'ון אדמס, החלו ארצות הברית וצרפת להילחם, במה שכונתה המלחמה הבלתי רשמית בין ארצות הברית לצרפת, שכללה מלחמה ימית וקרבות על נתיבי מסחר. הפדרליסטים יצרו צבא והעבירו את חוקי הזרים וההסתה, שכוונו כנגד פליטים צרפתים שהיו מעורבים בפוליטיקה וכנגד עורכי עיתונים רפובליקנים. מדיסון וג'פרסון זעמו. הם כתבו את החלטות וירג'יניה וקנטקי, שטענו שהחוקים היו לא חוקתיים, ושהמדינות יכולות וצריכות לחוקק חוקים כנגדם. ההחלטות לא היו אהודות, כיוון שקראו להפרת החוק הפדרלי. ג'פרסון דרש מהמדינות לפרוש אם הדבר יהיה נחוץ, אף על פי שמדיסון התנגד לכך.
עמדתו של מדיסון הייתה שינוי גדול מתקופתו ככותב החוקה, כשטען שעל חוקי הממשלה להיות עליונים על חוקי המדינות. רק ב-1812, לאחר המלחמה והחולשה הממשלתית במהלכה, הבין מדיסון את הצורך בממשל מרכזי חזק. באותה התקופה החל לתמוך בבנק לאומי, בצי חזק ובצבא קבע.
מדיסון ביקש להימנע מממשלה בסגנון האירופאי, ותמיד חשב שחרם על בריטניה היה מצליח.
נישואיו ומשפחתו.
מדיסון התחתן לראשונה בגיל 43, ב-15 בספטמבר 1794. הוא נישא לדולי פיין טוד, אלמנה בת עשרים ושש. מדיסון אימץ את ילדה, ג'ון פיין, לאחר הנישואין.
דולי נולדה ב-20 במאי 1768, למשפחת קווייקרים מקרולינה הצפונית. אחותה לוסי נישאה לאחיינו של ג'ורג' וושינגטון. כחבר קונגרס, פגש מדיסון את דולי באירועים חברתיים בפילדלפיה, עיר הבירה דאז. היא חיה שם עם בעלה. במאי 1794, ביקש מדיסון מחברם המשותף, ארון בר, לארגן פגישה. באוגוסט, היא הסכימה להתחתן אתו. היא הוצאה מקהילתה בעקבות נישואין למדיסון, שלא היה קווייקר. בנוסף, ב-1794, נבחר מדיסון לעמית באקדמיה האמריקאית לאמנויות ולמדעים.
דולי מדיסון השתמשה בכישוריה החברתיים בוושינגטון, כשג'יימס היה מזכיר המדינה. כשהבית הלבן היה בשיפוצים, היא ייעצה בנוגע לריהוט הבית וסייעה לתומאס ג'פרסון האלמן בטקסים. כשבעלה הפך לנשיא, היא יצרה את תפקיד הגברת הראשונה, וקידמה את בעלה בעזרת כישוריה. היא הוסיפה לאהדה כלפיו.
אביו של מדיסון מת ב-1801 ולאחר שכבר ניהל את נכסי אביו מ-1780 ירש מדיסון את מטע מונטפילייר ואת 108 עבדיו של אביו.
כהונתו כמזכיר המדינה.
כשהחל ג'פרסון את כהונתו כנשיא ב-1801, הוא מינה את מדיסון לתפקיד מזכיר המדינה של ארצות הברית. בתחילת כהונתו, עמד מול בית המשפט בפסק דין מרבורי נגד מדיסון, שקבע את עקרון הביקורת השיפוטית והדרישה שכל חוק שמתקבל בקונגרס חייב לעלות בקנה אחד עם החוקה. הנושא המרכזי שעמד על הפרק היה השמירה על הנייטרליות בזמן המלחמות הנפוליאוניות. רוב אירופה הייתה במלחמה, בהתחלה בין צרפת ואוסטריה. לאחר קרב אוסטרליץ ב-1805, בו צרפת ניצחה בקלות את אוסטריה, בריטניה הצטרפה למלחמה.