עוד לפני תום המלחמה החל גולדמן בקידום תוכניות לשיקום העם היהודי ובדרכים לפיצויו. כבר בנובמבר 1944 בוועידה שהתקיימה באטלנטיק סיטי. הוחלט ביוזמתו לדרוש מגרמניה שלאחר המלחמה תפצה את היהודים שנרדפו על ידה. ב 1949 פנה הקונגרס היהודי העולמי לגרמניה בקריאה לקבל את האחריות על הפשעים שנעשו לעם היהודי תחת השלטון הנאצי. ב 1951 הקים נחום גולדמן, כנשיא הקונגרס היהודי העולמי וכיושב ראש הוועד המנהל של הסוכנות היהודית, את ועדת התביעות. ב 27 בספטמבר 1951 הודיע קנצלר גרמניה, קונראד אדנאאור שגרמניה מקבלת על עצמה את האחריות המוסרית ואת חובתה לפיצוי חומרי לעם היהודי וכי היא תיכנס למשא ומתן על כך עם נציגות משותפת של העם היהודי ומדינת ישראל. הצהרה זו הניעה את תחילת המשא ומתן על הסכם השילומים. בעקבות הסכמה בין בן-גוריון וגולדמן נערכה פגישה חשאית בין גולדמן ובין אדנאאור. גולדמן תיאר בזכרונותיו את הפגישה כ"הקשה ביותר מבחינה רגשית ולטווח ארוך אולי הגורלית ביותר בהשלכותיה על התפתחותה של מדינת ישראל"