בהחלטת הקונגרס על קיום הוועידה נקבע כי היא תחל ב-14 במאי 1787. אולם, על מנת לפתוח בדיונים היה צורך במינימום של נציגויות משבע מדינות לפחות. קוורום זה הושג ב-25 במאי, התאריך בו נפתחו רשמית דיוני הוועדה. ביום הראשון לוועידה ג'ורג' וושינגטון נבחר פה אחד לנשיאהּ. ויליאם ג'קסון נבחר למזכיר הוועידה, והוא ניהל את רישומיה. עוד הוחלט ביום הראשון שלכל מדינה יהיה קול אחד בהצבעה על החלטות הוועידה. ב-28 במאי הוועידה קיבלה החלטות פרוצדורליות נוספות, שחלקן היו קריטיות להצלחת הוועידה. נקבע כי כל הדיונים יהיו סודיים ונאסר על מתן מידע על הדיונים לאנשים שאינם נוכחים בוועידה. כלל זה איפשר לצירים בוועידה לדבר בחופשיות ומנע ממתנגדים את האפשרות ליצור דיון ציבורי ולגייס ביקורת ציבורית. עוד הוחלט שדרושה בקשתו של נציג אחד בלבד על מנת לפתוח מחדש נושאים שכבר הוחלטו.
תוכנית וירג'יניה (The Virginia Plan).
תוכנית שנתוותה על ידי ג'יימס מדיסון, שהיה הנציג הבכיר ביותר של מדינת ווירג'יניה לאחר שג'ורג' וושינגטון מונה לנשיא הוועידה. התוכנית הוצגה ב-29 במאי 1787 על ידי מושל וירג'יניה, אדמונד רנדולף. עיקרי התוכנית:
התגובות לתוכנית וירג'יניה היו מתונות ממה שניתן היה לצפות. ההחלטה המעשית של הצירים לאחר הצגת התוכנית הייתה הקמה של "הועדה של הכלל" (Committee of the Whole). למעשה הוועדה של הכלל, שהתכנסה בין ה-30 במאי ל-19 ביוני, הייתה אותה ועידה בשינוי שם. אולם, תחת הוועידה של הכלל הצירים יכלו לנהוג בפחות רשמיות. בנוסף, נשיא הוועדה של הכלל היה נתניאל גורהם ולא ג'ורג' וושינגטון.
בין ה-30 במאי ל-13 ביוני הצירים בוועדה של הכלל עברו, סעיף אחר סעיף, על הפרטים של תוכנית וירג'יניה. התוכנית התקבלה ברובה למעט מספר שינויים. בדיונים החל להתבהר אופיו של מוסד הנשיאות האמריקאי. בין השאר, הוגדר כי כוחה של הרשות המבצעת יהיה נתון בידיו של אדם אחד, אשר ייבחר על ידי המחוקקים לתקופה של שבע שנים, ואשר יהיה בכוחו להטיל וטו על חקיקה של בית הנבחרים. נקבע שיהיו דרושים שני שלישים מקולות הנבחרים כדי לבטל וטו נשיאותי. עוד נקבע שיהיה בית משפט עליון יחיד (Supreme Tribunal בלשון הוועידה) ובתי משפט נמוכים יותר על פי החלטת המחוקקים. שינוי מהותי נוסף בדיונים היה באופן הבחירה של הבית הגבוה. בתוכנית המקורית חברי הבית הגבוה היו אמורים להיבחר על ידי חברי הבית הנמוך. בדיונים נקבע כי הם ייבחרו על ידי בתי המחוקקים של המדינות עצמן לתקופה של שבע שנים.
תוכנית ניו ג'רזי (The New Jersey Plan).
המחלוקת העיקרית לגבי תוכנית וירג'יניה נגעה לאופן בו ייקבע מספר הנציגים של כל אחת מהמדינות בבתי המחוקקים. המדינות הקטנות חששו שקולן ייבלע בין נציגי המדינות הגדולות יותר (וירג'יניה, מסצ'וסטס, פנסילבניה, ג'ורג'יה, צפון קרוליינה ודרום קרוליינה). רוג'ר שרמן שייצג את קונטיקט ניסה להציע פשרה לפיה בבית התחתון מספר הנציגים יהיה פרופורציונלי לגודל האוכלוסייה, ובבית העליון לכל מדינה יהיה קול אחד. הפשרה הזו לא התקבלה בתחילה, אף שבסופו של דבר הייתה לה השפעה על החלטות מאוחרות יותר. במקום פשרה, נציגה של ניו ג'רזי, ויליאם פטרסון, הציע ב-15 ביוני 1787 תוכנית חלופית שתתן כוח רב יותר למדינות הקטנות. עיקרי התוכנית הם:
תוכניתו של המילטון (Hamilton's Plan).
תוכנית זו של נציג מדינת ניו יורק, אלכסנדר המילטון, הוצעה ב-18 ביוני 1787 והייתה תוכנית בעלת אופי בריטי, בעלת שלטון ריכוזי חזק. בתוכנית זו שאף המילטון לאיחודן של כל המדינות. הרשות המחוקקת תהיה מורכבת משני בתים. הבית התחתון נבחר ישירות על ידי העם לתקופת כהונה של 3 שנים, הבית העליון ימונה על ידי נציגי העם וישרתו לכל ימי חייהם. הרשות המבצעת תהיה בידי אדם אחד שימונה לכל ימי חייו. כמו כן ראש הרשות המבצעת יהיה בעל סמכות להטלת וטו על חקיקה בקונגרס ועל חקיקה במדינות עצמן.
המילטון הציג את תוכניתו בנאום שארך בין 4 ל-6 שעות. ההצעה שלו נדחתה על הסף על ידי נציגי המדינות, אולם מספר אלמנטים הכלולים בה, כגון הזכות של הנשיא לנהל משא ומתן על אמנות בינלאומיות וזכותו להעניק חנינה התקבלו בסופו של דבר.
ב-19 ביוני נדחתה הצעת ניו ג'רזי ברוב של שבע נגד שלוש מדינות. הצעת וירג'יניה התקבלה על ידי הוועדה של הכלל עם השינויים שהוצעו בה, והדיונים הוחזרו לוועידת החוקה.
המשך הדיונים ופשרת קונטיקט (Connecticut Compromise).
לאחר ההצבעה בוועדה של הכלל, ועידת החוקה התכנסה שוב ב-20 ביוני תחת נשיא הוועידה, וושינגטון. עיקר העבודה של הנציגים היה מעבר על כל אחד מהסעיפים של ההצעה שהם ניסחו כחברי הוועדה של הכלל. חלק ניכר מהסעיפים שונו בדיונים. בין השאר נקבע שחברי הבית העליון ייבחרו לתקופה של שש שנים וששליש מהצירים בבית זה יעמדו לבחירה כל שנתיים. נקבע גם שחברי הבית התחתון ייבחרו לתקופה של שנתיים. עוד נקבע, בניגוד להצעת וירג'יניה המקורית, כי לבתי המחוקקים הפדרליים לא תהיה סמכות להטיל וטו על החלטות של בתי המחוקקים של המדינות.
המחלוקת העיקרית המשיכה להיות סביב האופן בו ייקבעו מספר הנציגים בבתי המחוקקים. ב-5 ביולי תת-ועדה מיוחדת שעסקה בעניין הציעה שבבית העליון הייצוג יהיה שוויוני ובבית התחתון הייצוג יהיה לפי גודל האוכלוסייה. המדינות הגדולות חששו שחברי המדינות הקטנות ינצלו את יכולתן להעביר כספים (שיגיעו ברובם ממדינות גדולות) לצורכיהן. הוועדה המיוחדת הציעה שרק לבית התחתון, שבו הייצוג הוא יחסי, תהיה סמכות לעסוק בחקיקה הקשורה בחלוקה של כספים. ב-16 ביולי הוועידה אישרה את העקרונות שהציעה תת-הוועדה. הפשרה הזו מכונה פשרת קונטיקט או הפשרה הגדולה כיוון שההוגה שלה היה רוג'ר שרמן מקונטיקט. לפי הפשרה הזו חברי הבית העליון היו אמורים לייצג את ההחלטות שהתקבלו במדינות עצמן. ההחלטה הזו שונתה כאשר נקבע, שבוע מאוחר יותר, שבבית העליון יהיו שני נציגים מכל מדינה ושכל אחד מהנציגים האלה יהיה חופשי להצביע על פי מצפונו.
המחלוקת לגבי חלוקת הנציגים נגעה גם לאופן בו ייקבע גודל האוכלוסייה של כל מדינה. מדינות הדרום, שהיו בהן הרבה עבדים רצו שהעבדים ייחשבו לצורך קביעת גודל האוכלוסייה, זאת על מנת שהייצוג שלהם יהיה גדול יותר. מדינות הצפון רצו שאזרחים לבנים בלבד ייחשבו בקביעת גודל האוכלוסייה, זאת כדי שהנציגות של מדינות הדרום תהיה קטנה יותר, ולא תסתמך על כמות העבדים, שממילא אינם אזרחים ואינם מיוצגים. הפשרה שהושגה היא פשרת שלוש החמישיות לפיה כל עבד ייחשב לשלוש חמישיות תושב בספירת האוכלוסייה. את ההצעה חיברו רוג'ר שרמן וג'יימס וילסון. הוועידה קבעה גם שייבוא של עבדים יוכל להימשך עשרים שנים נוספות ושקיימת חובה להחזיר עבד נמלט לבעליו.
אף על פי שהפשרות שהושגו הצליחו למתן במידת מה את המחלוקות, המחלוקות בין המדינות הגדולות למדינות הקטנות, ובין מדינות הצפון למדינות הדרום לא נעלמו כליל והמשיכו להשפיע על עבודת הוועידה. בנוסף, היו גם נציגים מעטים שהגיעו לוועידה מתוך רצון למנוע ככל האפשר את ריכוז הממשל. שני נציגים מניו יורק, רוברט ייטס וג'ון לנסינג ג'וניור, עזבו ב-5 ביולי את הוועידה. במכתב משותף שכתבו למושל ניו יורק, ג'ורג' קלינטון (שהתנגד גם הוא לוועידה), שני הנציגים כתבו שהם נוכחו כי הם מתנגדים למרכוז השלטון ועל בסיס התנגדות זו הם מתנגדים לחוקה המתגבשת. המילטון נותר הנציג היחיד של ניו יורק (ולעיתים גם הוא נעדר לענייניו העסקיים, כך שבחלק מההצבעות השתתפו רק 11 מדינות).
ועדת הפרטים (Committee of Detail).
ב-24 ביולי הוועידה החליטה על הקמת ועדת הפרטים שתפקידה היה לעבור על כל ההחלטות של הוועידה ולנסח על פיהן טיוטה של מסמך מסכם. ועדה זו נועדה עד ל-6 באוגוסט ובעת עבודתה שאר חברי הוועידה יצאו לפגרה. יושב ראש הוועדה היה ג'ון ראטלדג' מדרום קרוליינה. בנוסף אליו היו עוד ארבעה חברים בוועדה: נתניאל גורהם ממסצ'וסטס, אוליבר אלסוורת' מקונטיקט, ג'יימס וילסון מפנסילבניה, ואדמונד רנדולף מוירג'יניה. הבחירה בחמשת חברי הוועדה האלו נועדה שהאזורים הגאוגרפים השונים בארצות הברית יהיו מיוצגים. לכאורה, עבודתה של הוועדה הייתה טכנית, וכללה ניסוח של החלטות שכבר התקבלו, אבל באופן מעשי חבריה השתמשו בשיקול דעתם כדי לפרט בנושאים שלא היו מפורטים עד כה, והם אף ערכו שינויים בהחלטות שהתקבלו. עם זאת הם ניסו להימנע מחידושים שיעוררו מחלוקת.
בפתח הוועדה, רנדולף הזהיר כי מתפקידם להכניס אך ורק עקרונות הכרחיים, זאת שמא תפקוד הממשל ייתקע עקב כך שהוראות שצריך לאפשר את התאמתן לזמנים ולאירועים נוסחו באופן שהופך אותן לקבועות ובלתי ניתנות לשינוי. רנדולף קבע גם שעל הוועדה להשתמש בשפה מדויקת ופשוטה, ולנסח סעיפים כלליים. אימרות אלה של רנדולף מוזכרות לעיתים קרובות כתמיכה בטיעונים של המצדדים ברעיון של "חוקה חיה" כקו מנחה לפרשנות של החוקה (ונגד המצדדים באוריגינליזם, הגישה לפיה יש לפרש לאור הכוונות של מנסחי החוקה).
אחת התרומות של הוועדה היא במתן השמות למוסדות המרכזיים בשיטת הממשל האמריקאית. הוועדה כינתה את בית המחוקקים "קונגרס", את הבית העליון "סנאט", ואת הבית התחתון "בית הנבחרים" (House of Representatives). הוועדה כינתה את המחזיק בכוח הביצועי "נשיא", והחליפה את השם "טריבונל עליון" ב"בית המשפט העליון" (Supreme Court).