Канижаи пытался протестовать, но не мог препятствовать закрытию школы. Ему пришлось выбирать между отправкой детей к родителям и оставлением их в Будапеште. Канижаи решил распустить старшие классы, оставив младших школьников вместе. Решение насчёт старших классов было ошибкой, так как евреи разъехались по сельским районам и после рейдов были отправлены в лагеря. Младший класс при этом оставался вместе с Канижаи до конца войны. Педагог вместе со своей женой последовал за детьми в сиротский дом. Канижаи боялся, что слепые дети не найдут общего языка со здоровыми детьми. В конце весны 1944 года здание сиротского дома было разрушено в результате бомбардировки союзников. Один из выживших глухих, Лео Вахленберг, не услышал приказа охранника остановиться, и был застрелен. Некоторые выжившие смогли спастись у родственников, другие оставались с Канижаи до конца войны. В период с марта 1944 до января 1945 года националисты из венгерской партии «Скрещённые стрелы» убили более полумиллиона евреев, однако сообщество глухих подростков осталось неохваченным чистками. Незадолго до осады Будапешта Канижаи вместе с детьми отправили в Будапештское гетто, но там их не подвергали никаким репрессиям.