Po únorovém převratu začal být Pitter i se svými spolupracovníky pronásledován. Olze Fierzové, která odjela do Švýcarska na pohřeb své sestry, již nebyl povolen vstup do země. Na Milíčův dům byla státem uvalena nucená správa, byly omezeny jeho výchovné funkce a v roce 1951 musel Pitter odejít z funkce jeho ředitele. Od roku 1950 navíc musel čelit setrvalému zájmu Státní bezpečnosti. Dne 26. srpna 1951 proto s pomocí Fierzové a přátel uprchl do západního Německa.