(Neumann Miksa)和坎恩·玛吉特(Kann Margit)的3个孩子中最大的一个。他小时候外号“扬奇”("Jancsi"，即"János"的昵称)，当时已经显出惊人的记忆力。他6岁时已能用古希腊语同父亲闲谈，还可以心算8位数除法，8岁时自学微积分学。年少时的他不但对数学很有兴趣，亦喜欢阅读历史和社会方面的书籍，读过的书籍和论文能很快一句不漏地将内容复述出来，而且多年以后仍是如此。1913年，他的父亲马克斯·诺伊曼被授予世袭贵族头衔，这样在德国他的后代可以以“冯·诺伊曼”为姓，冯·诺伊曼晋身贵族。