ברגמן נולד למשפחה יהודית אתאיסטית בפריז. אביו התגייס לצבא הצרפתי עם פרוץ מלחמת העולם השנייה בן 11.מאז שעבר אביו לחיות עם אשה אחרת לא היו השניים בקשר רציף. ביולי 1942, במסגרת גירוש היהודים מפריז, תפסו הנאצים את אמו ושלחו אותה ברכבת לאושוויץ, שם נספתה כעבור שבועיים. ברגמן הסתתר תחילה אצל שכנה, ואחר כך אצל קרובי משפחה שמסרו אותו לארגון יהודי מחתרתי שהסתיר אותו בכפר נוצרי, שם חי בזהות בדויה.