בדצמבר של אותה שנה נחשפה הבקשה הישראלית מגרמניה לפיצויים והיא נדונה בהנהלת הסוכנות היהודית, בוועדת החוץ והביטחון ובממשלה. ב-6 בינואר 1952 עלה ההסכם לסדר יומה של הכנסת השנייה, ולאחר שלושה ימי דיון נערכה הצבעה במליאה. ההחלטה שהתקבלה הייתה לייפות את כוחה של הממשלה לנהל את המשא ומתן. ההחלטה התקבלה ברוב של 61 חברי כנסת מול 50 מתנגדים ו-6 נמנעים. 3 חברי כנסת נעדרו. בייפוי כוחה של הממשלה תמכו 45 חברי הכנסת של מפא"י ו-6 מתוך שמונת החברים בהפועל המזרחי. הקואליציה ככלל, ומפלגות מפא"י ו"הפועל המזרחי" בנפרד, נתנו לחברים ניצולי השואה חופש הצבעה, כדי לא להעמידם בדילמה מוסרית. חופש ההצבעה ניתן רק לאחר שהתברר לבן-גוריון שקיים רוב התומך בהחלטה.
המחאה נגד ההסכם.
מרגע חשיפת המשא ומתן הישיר עם גרמניה, בדצמבר 1951, הייתה הארץ כמרקחה. היה זה אחד מהוויכוחים הסוערים שידעה המדינה בכלל והכנסת בפרט. שני עיתוני הערב, "מעריב" ו"ידיעות אחרונות", נקטו עמדה ברורה נגד השילומים.
המחאה הגיעה לשיאה ב-7 בינואר 1952, כשההסכם עלה לסדר יומה של הכנסת. מתנגדי ההסכם קיימו הפגנה שבה השתתפו מפגינים רבים מאוד (יחסית לגודל האוכלוסייה באותה תקופה). ההפגנה החלה בכיכר ציון בירושלים, וצעדה לבניין הכנסת (אז בבית פרומין, מרחק דקות הליכה מהכיכר). יושב-ראש מפלגת חרות, חבר הכנסת מנחם בגין, שנאם בהפגנה, דיבר בחריפות רבה מלווה באיומים נגד הממשלה ובפרט נגד ראש הממשלה בן-גוריון:
בגין קרא לאי-תשלום מיסים ולמרי אזרחי, גם אם משתתפיו יילקחו ל"מרתפי עינויים" ול"מחנות ריכוז", וגם אם ישלמו בחייהם.
לאחר דבריו של בגין החל ההמון לצעוד לעבר הכנסת. על הכנסת הופקדו שוטרים רבים שפרסו סביבה גדרות תיל והציבו ברחובות מחסומים רבים. חרף ניסיונות המשטרה לבלום את המפגינים באלות ובגז מדמיע, הגיעו המפגינים למפתן הכנסת והשליכו אבנים לתוך אולם המליאה. במהלך ההפגנה נפצעו כמאה שוטרים, ח"כ חנן רובין נפגע מאבן בראשו ועוד מספר חברי כנסת שרסיסי החלונות המנופצים פגעו בהם. עיתון "הארץ" תיאר את רחבת הכנסת באותו היום כ"שדה קרב". בגין נשא נאום חריף מאוד בתוך המליאה, במהלכו כינה את בן-גוריון "פשיסט" ו"חוליגן" לקול ניפוץ השמשות ולמראה בהלתם של חברי הכנסת שהתרחקו מהחלונות ומהאבנים הניתכות מכל עבר. בעקבות נאומו החריף והתנהגות מפלגתו, הורחק בגין מהכנסת לכמה חודשים.
התגובות להתנהגותה של מפלגת "חרות" ברחוב היו נזעמות. בעיתונות הישראלית רווחה הטענה שבגין ו"חרות", בהתנהגותם, היו רחוקים רק מעט משפיכות דמים של ממש ומהחרבתה של מדינת ישראל. יום למחרת המתקפה נאם בן-גוריון בשידור רדיו מיוחד לאזרחי המדינה והתריע: "אתמול הורמה יד זדונית על ריבונות הכנסת". במקביל הודלפו לעיתונות ידיעות על כוונת הממשלה להוציא את תנועת חרות מחוץ לחוק, באם יחזרו על עצמם מאורעות ה-7 בינואר. ב-9 בינואר אישרה הכנסת את החלטת הממשלה בדבר קיום משא ומתן עם גרמניה המערבית (ברוב של 61 נגד 50, עם שישה נמנעים) והסמיכה את ועדת החוץ והביטחון לאשר סופית את נוסח ההסכם שיושג. בספטמבר 1952 נחתם הסכם השילומים בין מדינת ישראל למערב גרמניה ואפשר לכלכלת המדינה הצעירה לצעוד קדימה. את מאורעות הימים סיכם בן-גוריון ביומנו: "יום ב', ג' וד' היו ימי ה'שילומים' - הניסיון הנכשל, הטרגי והנלעג של הפוטש של בגין. ביום ג' שידרתי לעם, ביום ד' נתקבלה עמדת הממשלה ברוב ניכר ומתוך ניצחון מוסרי".
על פעולותיו ודבריו באותו יום הורחק בגין מן הכנסת עד לסיום המושב (כ-3 חודשים). למרות הצהרותיו הלוחמניות לא מסר מנהיג חרות את נפשו במאבק נגד ההסכם (על אף שכמה מתומכיו ביצעו פעולות חבלה אלימות למניעת הוצאת ההסכם לפועל), וגם לאחר תבוסתו במערכה שב אל אמונתו בכללי המשחק הדמוקרטי.
הטיעונים בישראל בעד ונגד ההסכם.
טיעוני התומכים.
בראש תומכי ההסכם עמדו ראש הממשלה ושר הביטחון דוד בן-גוריון ונשיא הקונגרס הציוני (ולימים הקונגרס היהודי העולמי) נחום גולדמן. בכנסת תמכו בהסכם מפא"י והפועל המזרחי. תומכי ההסכם העלו מספר נימוקים, שרובם מתמקדים בצד הפרגמטי-פרקטי ובצורך בשילומים למען העתיד. הקו הכללי שליווה אותם הוא הטענה ש"אל לרגש לגבור על השכל" - אין לאפשר לתחושות הקשות הרווחות בציבור, קשות ככל שיהיו, להביא לוויתור על הון רב שמגיע למדינה בזכות וחשוב לשם המשך קיומה:
טיעוני המתנגדים.
מתנגדי ההסכם, מנחם בגין בראשם, טענו שבחתימת ההסכם יש עוול מוסרי שכן הסכם שכזה מהווה מעין מחילה או כפרה לנאצים על פשעיהם, ונקיבת מחיר חומרי על סבל שלא ניתן להעריך בסכום כלשהו, תהיה נחיצותו גדולה ככל שתהיה. ההתנגדות להסכם הגיעה משני צידי המפה הפוליטית:
גיבוש ההסכם.
משא ומתן.
במרץ 1952 החל המשא ומתן בין הצדדים בעיירה וסנאר (Wassenaar) שסמוכה להאג. בראש המשלחת הישראלית עמדו שניים: גיורא יוספטל שהיה נציג מפא"י ופליקס שנער שהיה נציג הפרוגרסיבים. חברים אחרים היו הדיפלומטים גרשון אבנר, עלי נתן, המשפטן ד"ר יעקב רובינזון. איש משרד האוצר יצחק בזנר נספה בדרכו לוואסנאר בתאונת מטוס. בראש המשלחת הגרמנית עמד פרופסור פרנץ ביהם, רקטור אוניברסיטת פרנקפורט וסגנו היה אוטו קיסטר, שעמד בראש הרשות העליונה לפיצויים אישיים בגרמניה.
תוכן ההסכם.
על פי הוראותיו העיקריות של הסכם השילומים, גרמניה המערבית תשלם:
כמו כן, מדינת ישראל תשלם לגרמניה 54 מיליון מארק תמורת רכושם של הטמפלרים, שהתיישבו בארץ ישראל בסוף המאה ה-19 וגורשו ממנה על ידי הבריטים בזמן מלחמת העולם השנייה.
השילומים נפרסו כך שגרמניה התחייבה לשלם 200 מיליון מארק בשנה הראשונה, החל מיום כניסתו של ההסכם לתוקף ב-27 במרץ 1953 ועד לסוף שנת הכספים הבאה ב-31 במרץ 1954. בתשע שנות הכספים שלאחר מכן, התחייבה גרמניה לשלם 310 מיליון מארק בכל שנה. בשנה העשירית התחייבה לשלם 260 מיליון מארק. לגרמניה הייתה אף אפשרות להודיע מראש, במהלך תקופת ההסכם, שאינה יכולה לעמוד בהסדר השילומים, ולבקש לפרוס אותם בשיעורים מופחתים. לממשלת גרמניה הייתה גם האפשרות לשלם את התשלומים בטרם זמנם.
על פי ההסכם ניתן לבטח ולהוביל את הסחורות לישראל באוניות גרמניות על חשבון השילומים. לצורך יישומו של ההסכם התחייבה ממשלת ישראל לשגר לגרמניה משלחת אשר בסמכותה היה לחתום על חוזים עם ספקי סחורות ושירותים. מינוי ראש המשלחת הותנה בהסכמת ממשלת גרמניה. ההסכם העניק למשלחת חסינות דיפלומטית, אף שלא היה במשלחת זו משום ביסוס של יחסים דיפלומטיים בין ישראל לגרמניה. הוקמה אף ועדה משותפת, של נציגי ישראל וגרמניה, לפתרון בעיות המתעוררות במהלך יישום ההסכם.
חתימת ההסכם.
ב-10 בספטמבר 1952, לאחר שישה חודשי דיונים, חתמו ועידת התביעות והממשלה הפדרלית הגרמנית בבניין עיריית לוקסמבורג על הסכם בן שני פרוטוקולים, הידוע בשם "הסכם השילומים". קונראד אדנאואר חתם מן הצד הגרמני ומשה שרת, שר החוץ, מן הצד הישראלי.
שרת הכין נאום והעבירו לעיונו של אדנאואר, אולם זה סירב לאשר אותו. הוא אמר לשרת: "אני מוכן לשמוע זאת, גרמניה אינה מוכנה". אי לכך, הסכימו השניים שאיש מהם לא ינאם.
פרוטוקול מספר 1 קרא לחקיקת חוקים אשר יפצו את קורבנות הנאצים באופן ישיר לגבי תביעות פיצויים והשבת רכוש שנגרמו מרדיפות הנאצים. בהתאם לפרוטוקול מס. 2, ממשלת גרמניה סיפקה לוועידת התביעות סך של 450 מיליון מארק גרמני לשם מתן סיוע, שיקום ויישוב מחדש של קורבנות רדיפות הנאצים, בהתאם לדחיפות צורכיהם, כפי שנקבע על ידי הוועידה. כמו כן נחתמו הסכמים עם מדינת ישראל.
ההסכם אושרר ברוב דחוק בבונדסטאג ב-18 במרץ 1953.
ביצוע ההסכם והשלכותיו.
עם חתימת ההסכם בספטמבר 1952 שלחה מדינת ישראל משלחת מיוחדת לפיקוח על ביצוע ההסכם. ראש המשלחת היה דוקטור פליקס שנער. משלחת זו ישבה בקלן והפכה בסופו של דבר למשרד אינטרסים ישראלי. זאת הייתה "משלחת כלכלית", שגבתה את הכסף מגרמניה בתשלומים שנתיים, רכשה את הסחורות והייתה מופקדת גם על הובלתן לישראל. את ההזמנות קיבלה מ"חברת השילומים", שהוקמה לצורך זה בתל אביב. בראש החברה עמד הלל דן.
בשנת 1955 מונה נחום שמיר למנכ"ל חברת השילומים וכיהן בתפקיד זה עד סיום פעולתה של החברה, בשלהי שנת 1963.
בתחילה התמקדו היחסים במישור המסחרי. בהמשך, החל ייצוא סחורות מישראל לגרמניה, מגמה שהתחזקה והגיעה לשיאה בשנות השישים. עם כינון היחסים הכלכליים החלו גם ניצנים של יחסים מדיניים שהלכו והתחזקו עם הזמן. בסוף שנות החמישים נרקמו גם קשרים ביטחוניים שכללו עסקאות נשק וחילופי ידע, קשרים אלו היו בהתחלה חשאיים ונחשפו לציבור רק מאוחר יותר.
הפיצויים האישיים (ה"רנטות") ניתנו לפי בקשות שהגישו ניצולי שואה. הניצולים נדרשו לספק ראיות כלשהן להוכחת זכאותם לפי הקריטריונים שנקבעו בהסכם. לא כל הניצולים היו זכאים לפיצויים. הקבוצה העיקרית שלא הייתה זכאית לפיצוי כללה פליטים יהודים שברחו מהארצות הכבושות בידי גרמניה הנאצית לברית המועצות. פליטים אלה נשלחו בדרך כלל למחנות עבודה סובייטיים. הייתה תופעה של זיוף ראיות בידי ניצולים שלא נכללו בין הזכאים לפיצוי. מדינת ישראל לא פעלה נגד התופעה, מתוך הנחה שגם הניצולים האלה זכאים לפיצוי, אף שלא הצליחה לכלול אותם בהסכם. גרמניה המערבית מצדה אישרה בקשות לפיצויים על-פי עדויות ומסמכים שסיפקו הניצולים, אך מבלי לבחון את מהימנותם באופן יסודי.