Kun et begrenset antall jødiske studenter ble tillatt immatrikulert ved universitetet i Budapest, men den evnerike von Neumann hadde ingen problem med å få plass. Han fulgte imidlertid aldri forelesninger ved dette universitetet, han møtte kun til eksamenene. I 1921 begynte han et studium i kjemiteknikk ved universitetet i Berlin, men fra 1923 fortsatte han dette studiet ved ETH Zürich. I Zürich var han i kontakt med matematikerne Hermann Weyl og George Pólya.