בשנת 1939, עם פרוץ מלחמת העולם השנייה, ברחה המשפחה מהנאצים ללבוב. בשנת 1940 גורשה המשפחה לגולאג בסיביר. לאחר ההתקפה של הגרמנים על ברית המועצות ב-1941, נפתחו הגולאגים שבהם שהו הפליטים הפולנים, והייתה זרימה מסיבית של האנשים לרפובליקות האסיאתיות של ברית המועצות. משפחת נוימן הגיעה לקולחוז שבאוזבקיסטן. שם שררו תנאים קשים. כל בני המשפחה חלו בטיפוס הבהרות, שני ההורים נפטרו, ויוסף ואחיו ולטר שרדו.