В виду приближения немецких войск к Москве, 20 августа 1941 года приказом Наркомпроса Иосиф Абрамович был освобождён от работы и эвакуирован с женой и малолетними детьми на Алтай. Накануне отъезда они сменили фамилию на "Айдаровы" (см. далее). По прибытии был назначен учителем математики средней школы в село Чарышское. В зимнее время его семейству довелось несколько раз переживать настоящий голод — если чарышские крестьяне могли прокормить себя личным хозяйством, то сельским учителям, кроме скудного продовольственного пайка, поступавшего крайне нерегулярно, питаться было нечем. Поэтому, как только появилась возможность, в августе 1943 года Иосиф Абрамович с семьей перебрался в Фергану, где ситуация с продовольствием была несколько лучше.