ב-1939, עם פרוץ מלחמת העולם השנייה וכיבוש עירו על ידי הסובייטים בהתאם להסכם ריבנטרופ–מולוטוב, הורע מצבה של משפחתו, והוא נאלץ לסייע בפרנסת המשפחה. ב-1940 עזב את העיר ונסע לבאקו שבאזרבייג'ן, והתפרנס הן מציור והן כטכנאי שיניים. התקפת גרמניה הנאצית על ברית המועצות הביאה להגלייתו של כגן לעיר קרסנובודסק שבטורקמניה, בהיותו "אלמנט לא בטוח".