במקביל להסכם עם מדינת ישראל, נחתם הסכם פיצויים עם ארגונים יהודיים שונים שקיבלו פיצויים בשם העם היהודי. פרופ' פרנץ ביהם, אחד השושבינים של ההסכם מהצד הגרמני נימק את מתן הפיצויים הגלובליים לישראל ולארגונים היהודים, בצורך לשקם את העם היהודי שנפגע בגלל מעשי הנאצים. לדבריו, מתן הפיצויים גם לארגונים היהודיים נועד להתגבר על הקושי בכך שמדינת ישראל אינה מייצגת את כל העם היהודי אלא את אזרחיה בלבד.
עקרון מתן השילומים לנפגעי המשטר הנאצי נקבע בחוזי השלום בין המדינות המנצחות לבין גרמניה, ובבונדסטאג של גרמניה המערבית הוסכם על כך פה אחד. הפיצויים האישיים הועברו גם לניצולים זכאים שלא ישבו בישראל ולא היו אזרחים ישראלים. בהסכם נקבע כי גרמניה המערבית תשלם שני שלישים מהפיצויים ואילו גרמניה המזרחית תשלם את השליש הנותר. גרמניה המזרחית סרבה להיות צד בהסכם ולא שילמה פיצויים לישראל או לניצולי השואה. ב-1991, לאחר איחוד גרמניה, הועלו מספר סעיפים בהסכם לדיון מחדש בעקבות הטענה כי גרמניה המאוחדת ירשה את מחויבויותיה של גרמניה המזרחית (ראו להלן).
הסכם השילומים לא נועד להחליף ולא פגע בזכותם של אזרחי ישראל לפיצויים ישירות מממשלת גרמניה המערבית על נזקים שנגרמו להם. פיצויים אלו כללו רנטות לניצולי השואה, שהיוו תשלום חודשי קבוע לשם מימון הוצאות רפואיות, כפיצוי על הסבל במחנות הריכוז וההשמדה, וכפיצוי על אובדן זכויות בסיסיות כגון הזכות ללימודים לניצולים שהיו ילדים וכדומה. גובה הפיצויים נקבע לפי קריטריונים שאמדו את מידת הנזק שנגרם לניצול השואה. הסכם השילומים גם לא החליף את המנגנונים להשבת רכוש יהודי שנשדד. חלק מהפיצויים על רכוש הקהילות היהודיות בגרמניה עצמה (בתי כנסת ומבני ציבור שהוחרמו) ניתן לקהילות שנותרו בגרמניה המערבית.
התגבשות הרעיון.
כבר בתחילת מלחמת העולם השנייה עלה הרעיון שהגרמנים יצטרכו לשלם פיצויים על הרכוש שגזלו מהיהודים ועל הסבל שגרמו להם, ככל הנראה בהשפעת תשלומי העונשין שהוטלו על גרמניה לאחר מלחמת העולם הראשונה. במהלך מלחמת העולם השנייה החל העסקן היהודי-אוסטרי שלום אדלר-רודל, שניהל את הקרן הבריטית שסייעה ליהודים שנמלטו מהמדינה הנאצית, להעלות רעיון בדבר פיצוי בגין הרכוש היהודי שנותר בגרמניה. אדלר כתב ב-1939 מזכר, שנשלח לאישים בולטים בבריטניה ובארצות הברית, ובו הציע לאסוף מידע על הרכוש היהודי של יהודי גרמניה והמדינות הכבושות לשם קבלת פיצוי כספי עתידי. מרבית מקבלי המכתבים של אדלר דחו את הצעותיו, מלבד חיים ויצמן שהסכים לפיצוי החומרי המוצע ונפגש גם עם אדלר. עם זאת, למרות פעילותם של ויצמן ואדלר, לא התקדם הנושא.
ב-1940 קיבל דוד בן-גוריון תזכיר ראשון על כך ובסוף אותה שנה גם ברל כצנלסון דיבר על כך בפומבי. ב-1941 הקים הקונגרס היהודי העולמי את "המוסד לעניינים יהודיים", שהגדיר בין מטרותיו את השבת הרכוש הגזול ליהודים בתום המלחמה. החל ב-1942 הנושא נידון גם בעיתונות. בדצמבר 1942 פעל בתל אביב ארגון פרטי בשם "יוסטיציה", שרשם דרישות לפיצויים עבור נפגעי הנאצים. הארגון השתמש בעורכי דין מארצות שונות ובדצמבר אותה שנה ביקש את תמיכת הסוכנות היהודית, אולם היוזמה נדחתה בנימוק ש"המעשה קצת מוקדם יותר מדי" ולא ניתן לדעת מה יהיו "תנאי השלום".
מעבר לפרסומים הפובליציסטיים, עלה הנושא לדיון בהנהלת הסוכנות היהודית, אז הגוף העליון של התנועה הציונית. במהלך הדיון תבע דוד בן-גוריון, יושב ראש הסוכנות, לקבל בלעדיות על ייצוג העם היהודי. מולו התייצב נחום גולדמן שטען שעל הקונגרס היהודי העולמי לייצג אותם. לסוכנות היהודית נכתבו תזכירים שדנו בבעיות המשפטיות הכרוכות בתביעת פיצויים והייתה מגמה להבטיח שהסוכנות היא זו שתוסמך לייצג את תביעות העם היהודי וכי רוב הפיצויים יופנו לקליטת עולים בארץ־ישראל.
במהלך 1943 פורסמו מספר מאמרים בנושא בעיתון "הארץ", וב-1944 פורסמה חוברת העוסקת בנושא. האחראי לפעולות אלו היה זיגפריד מוזס, כלכלן יוצא גרמניה (שהיה לימים מבקר המדינה הראשון). באותה תקופה היה ידוע על רדיפת יהודים ועל החרמת רכוש בגרמניה ובארצות הכבושות על-ידה, אולם ממדי השואה טרם נודעו ברבים.
ב-1945, לאחר כניעת גרמניה, הגיש חיים ויצמן, נשיא ההסתדרות הציונית העולמית, תביעה בשם העם היהודי לפיצויים מבעלות הברית. בתביעה נטען שרכוש יהודי רב שנגזל בשואה נותר ללא בעלים נוכח ההשמדה הנאצית ולכן הוא שייך לעם היהודי שהוא מייצג. תביעתו של ויצמן הייתה אחת מבין תביעות רבות שהגישו מדינות שונות לבעלות הברית, ששמשו כאפוטרופוסות למדינה הגרמנית. הייחוד בתביעתו של ויצמן היה בהיותה תביעה של עם ולא של מדינה. זו גם הייתה הסיבה לדחייתה.
החלטת מדינת ישראל.
מדינת ישראל הוקמה ב-1948 וכשנה לאחר מכן הוקמו שתי מדינות גרמניות חדשות: במערב גרמניה הוקמה הרפובליקה הפדרלית של גרמניה, בשטח שהיה נתון לשליטה זמנית של ארצות הברית, בריטניה וצרפת; במזרח גרמניה הוקמה הרפובליקה הדמוקרטית הגרמנית, בשטח שהיה נתון לשליטה זמנית של ברית המועצות. בעלות הברית לשעבר החלו במאמצים לשקם את אירופה ולהסתגל למצב הגאו-פוליטי החדש שנקרא לימים המלחמה הקרה. החרם שהוטל על גרמניה על ידי הארגונים היהודיים המשיך להתקיים במדינת ישראל. למשל, בדרכונים החדשים של המדינה הודפס: "לכל הארצות פרט לגרמניה". עם זאת, כיוון שגרמניה המערבית הפכה לחלק בלתי נפרד מגוש מדינות המערב, שישראל שאפה לטפח את קשריה איתו, הקשה החרם על ניהול יחסי החוץ של ישראל.
סוגיית הפיצויים נשארה בתודעה הכללית גם לאחר קום המדינה. ב-10 במאי 1949 כתב מיכאל עמיר, נציג ישראל במדינות בנלוקס, להנהלת משרד החוץ כי התחוללה התאוששות מדהימה של המשק בגרמניה המערבית, ואפשר היה להניח שכוחה לעמוד בתשלום פיצויים, וכי "זו העת להגיש חשבון לפיצויים על כל ההרס שנגרם, על כל העושק שבוצע ועל כל הרכוש שנשדד". כעבור שנה וחצי חזר על הצעתו זו ביתר תוקף.
בפברואר 1950 התקבלה החלטה בממשלת ישראל לפתוח במשא ומתן ישיר עם גרמניה המערבית לגבי הפיצויים האישיים (הרנטות). בספטמבר באותה שנה, בהמלצת משרד החוץ, מונתה ועדה מיוחדת לטיפול בעניין הפיצויים האישיים והכלליים. ההחלטה לפנות לגרמניה נבעה, בין היתר, מהמצב הכלכלי בארץ. באותה תקופה היה בישראל מחסור חמור מאוד במטבע זר והתברר כי מדיניות הצנע שנועדה לפתור את בעיית המחסור לא צלחה.
משרד החוץ והוועדה שמונתה על ידו המליצו לפנות ישירות לגרמניה לשם דיון על הפיצויים הכלליים, בנוסף לפיצויים האישיים. ההמלצה הובאה לשולחן הממשלה ונדחתה, בפעם הראשונה בדצמבר 1950 ולאחר מכן שוב בינואר 1951. הדחייה נבעה מההתנגדות לדין ודברים ישיר עם גרמניה והציעה במקום זאת לפנות לבעלות הברית לשעבר כגורם מקשר. לאחר קביעת הממשלה פנה משרד החוץ ב-6 בינואר לארבע בעלות הברית. הפנייה נומקה ברצון להימנע ממצב של "הרצחת וגם ירשת" ובטענה שישראל נזקקת לכסף על מנת לקלוט את "שארית הפליטה". שלוש בעלות הברית המערביות השיבו שהן לא יכולות לכפות על גרמניה פיצויים נוספים. ברית המועצות לא השיבה. תשובת בעלות הברית השאירה בידי ישראל אופציה לנהל משא ומתן ישיר עם גרמניה המערבית או לוותר על הפיצויים. לבסוף הורה דוד בן-גוריון, ראש הממשלה, לפתוח במשא ומתן ישיר ובכך בא אל קצו הוויכוח בתוך הממשלה. ההחלטה נותרה סודית בשלב זה.
באפריל 1951 נפגשו דוד הורוביץ, מנכ"ל משרד האוצר, ומוריס פישר משגרירות ישראל בצרפת עם קנצלר גרמניה המערבית קונראד אדנאואר. הפגישה הייתה לא-רשמית וחשאית. בפגישה הביע הקנצלר נכונות לפצות את העם היהודי ולצאת בהכרזה שגרמניה נוטלת על עצמה את האחריות על פשעי הנאצים כלפי העם היהודי. הצהרה זו הייתה אמורה להכשיר את דעת הקהל לקראת פתיחת המגעים הרשמיים והגלויים עם גרמניה המערבית.
ב-27 בספטמבר 1951 ניתנה ההצהרה על ידי אדנאואר, מעל במת הבונדסטאג בבון. בהצהרתו אמר:
אולם הקנצלר גם סייג את דבריו ואמר כי יש להתחשב גם במגבלות יכולתה של גרמניה, משום שמוטל עליה לדאוג לנפגעי המלחמה, לפליטים ולמגורשים הרבים שמצאו מקלט בתחומה. הוא הודיע כי הממשלה הפדרלית מוכנה לפתור את בעיית הפיצויים החומריים "יחד עם נציגי היהדות ונציגי מדינת ישראל". נוסח ההודעה סוכם קודם לכן עם נחום גולדמן, נשיא הקונגרס היהודי העולמי ועם נציגי ממשלת ישראל. הבונדסטאג אישר את ההודעה בקימה ודומייה לזכר קורבנות הנאציזם. ההודעה אושרה פה אחד על ידי הבונדסטאג ואפשרה את פתיחתו של משא ומתן רשמי.
כחודש לאחר נאום אדנאואר כינס נחום גולדמן, היו"ר המשותף של הסוכנות היהודית ונשיא הקונגרס היהודי העולמי, פגישה בניו יורק שבה השתתפו נציגיהם של 23 ארגונים יהודיים לאומיים ובינלאומיים ראשיים. המשתתפים הבהירו כי שיחות אלו אמורות להיות מוגבלות לתביעות חומריות בלבד, וכך נולדה ועידה בנוגע לתביעות יהודיות חומריות כנגד גרמניה שנקראה ועידת התביעות. מועצת המנהלים של הוועידה החדשה כללה קבוצות שלקחו חלק בהקמתה, וכל ארגון חבר מינה שני חברים למועצה.