I 1911 begynte János på det tyskspråklige lutherske gymnaset Fasori Gimnázium, en skole berømt for å ha undervist flere senere nobelprisvinnere, vitenskapsmenn og kunstnere. Matematikeren og fysikeren Eugene Wigner gikk ut av skolen ett år før von Neumann: han fikk i 1963 nobelprisen i fysikk. Matematikklæreren Lásló Rátz oppdaget fort talentet til den unge János og fikk foreldrenes samtykke til at eleven skulle få ekstraundervisning samtidig som at han fulgte regulær undervisning. Ekstraundervisningen ble gitt av matematikerne Gábor Szegö og av Michael Fekete. Fekete var på denne tiden privatdosent ved universitetet i Budapest, og Szegö var student samme sted.