制皮工人，有一位姊姊、一位妹妹。这位妹妹后来嫁给了英国物理学家保罗·狄拉克。九岁以前维格纳在家里由家庭教师指导，他这段期间培养了对数学问题的兴趣。十一岁时被诊断出肺结核，被父母送到奥地利的疗养院，直到六个星期后发现为误诊。1920年维格纳进入布达佩斯科技经济大学就读。然而他对那里提供的课程并不满意，因此1921年转入柏林的一间工程学院（现在的柏林工业大学）就读，学习化学工程。 另外他也常参加德国物理学会在星期三下午的学术讨论会。这个聚会聚集了如马克斯·普朗克、马克斯·冯·劳厄、、维尔纳·海森堡、瓦尔特·