尔兹曼生于奥地利首都维也纳。其父路德维希·格奥尔格·玻尔兹曼是一名税吏，而他的祖父是一个自柏林移居至维也纳的钟表制造商。他的母亲卡特琳那·玻恩芬德（Katharina Pauernfeind）来自萨尔茨堡。他从他的家教那里接受了基础教育，而后在上奥地利的林茨就读高中。当他15岁时，他的父亲去世。玻尔兹曼自1863年开始在维也纳大学攻读物理学。指导过他的老师有、约瑟夫·斯特藩、安德烈亚斯·冯·厄廷格豪森和。玻尔兹曼在斯特藩的指导下在1866年获得理学博士学位，他的学位论文主题是分子运动论。1867年，他成