Rodil se je v judovski družini. Njegov oče je ob Hitlerjevi priključitvi Avstrije posumil, da se jim slabo piše, zato je emigriral v Združene države Amerike ter v letu in pol uredil, da so se mu leta 1940 pridružili še žena, sin János in njegova sestra. Kemeny je tako opravil šolanje v New Yorku, nato pa leta 1943 vpisal študij matematike na Univerzi Princeton. Kot ravno polnoleten bruc je bil vpoklican v vojsko in poslan v Narodni laboratorij Los Alamos, kjer je bil dodeljen računskemu središču projekta Manhattan, v sklopu katerega so razvijali atomsko bombo. Leta 1947 je diplomiral in dve leti kasneje doktoriral. Kot podiplomski študent je nekaj časa deloval kot asistent Alberta Einsteina in preverjal njegove izračune.