Leary og Alpert ble oppsagt fra Harvard i 1963. Deres kolleger var urolige over måten de utførte sin forskning, og enkelte foreldre klagde til universitetets ledelse over utdelingen av hallusinogener til studenter. Leary og Alpert stiftet deretter International Foundation for Internal Freedom i 1962 i Cambridge, Massachusetts. I 1963 flyttet de til en stor herskapsvilla i nærheten av Poughkeepsie, New York i en småby ved navn Millbrook der de fortsatte sine eksperimenter. Leary skrev senere,