1944. március elején leköltözött Balatonfüredre. Már ekkor eljárást indítottak ellene nyilasellenes nyilatkozatai és magatartása miatt. Feleségével elhatározta, hogy útlevelet szereznek és Svájcba távoznak. Az útlevelet megkapták, a vízumot azonban nem. Visszaköltöztek Budapestre, s Váry itt vészelte át Budapest ostromát, a szovjetek bevonulása után az államvédelmi hatóság rendszeresen zaklatta, kihallgatta. Az Andrássy út 60.-ban a fehérterrorra vonatkozó adatainak átadására kényszerítették, s ezek alapján vontak felelősségre és végeztek ki embereket. Rákosiék hatalomra jutása után kitelepítették Hunyára, ám a kitelepítés feloldása után sem térhetett vissza a fővárosba, így Csengődre költözött, és itt is halt meg 1953. október 1-jén, agyvérzésben.