בפברואר 1939, לאחר הכרזת הניצחון של פרנקו, נכלא גולדשטיין במחנה המעצר גירס (Gurs) בצרפת, בו רוכזו פליטי מלחמת האזרחים הספרדית שחצו את הגבול למדינה. הוא התנדב לשרת בצבא צרפת, אך נדחה, ובמקום זאת הוצע לו להצטרף ללגיון הזרים. הוא סירב להצעה בנימוק שאינו מוכן להילחם בשירות האימפריאליזם באפריקה. לאחר מכן הועבר גולדשטיין, לצד אסירים קומוניסטים נוספים, למחנה המעצר ורנה (Vernet) שבהרי הפירנאים. ב-1942 גורשו העצירים היהודים במחנה למחנה דראנסי, ומשם נשלחו לאושוויץ. באושוויץ עבד גולדשטיין במשך שנתיים וחצי בכריית פחם. גולדשטיין שרד את צעדת המוות מאושוויץ לבוכנוואלד. לאחר פינויו החלקי של בוכנוואלד השתתף גולדשטיין, לצד אסירים קומוניסטים נוספים, בהסתערות על מגדל השמירה, בה הרגו את אחרוני השומרים הנאצים והשתלטו על המחנה.