סם שולמן נולד בטרה הוט שבאינדיאנה להורים יהודים ממוצא פולני. בהיותו בן ארבע נפטר אביו במפתיע ואמו חזרה יחד איתו להתגורר בבית הוריה בוורשה שבפולין. בוורשה היא התחתנה בשנית, וזמן קצר לאחר מכן המשפחה עזבה לפריז. אביו החורג של שולמן היה בנסיעת עסקים בין אירופה לארצות הברית. כשפרצה מלחמת העולם השנייה, נתקע בארצות הברית ולא חזר לפריז עד תום המלחמה. ביוני 1942 עצרו שוטרי משטר וישי את שולמן ואמו במסגרת גירוש היהודים מפריז. השניים נמלטו בעזרת סוכן יהודי ומצאו מקלט בכפר פיונה שבמחוז קרז. הם הסתתרו בכפר במשך שלוש שנים, וניצלו בזכות סיוע של חברי תנועת ההתנגדות הצרפתית.