维斯穆勒出生于奥匈帝国弗莱多夫（现罗马尼亚），原名亚诺什·维斯穆勒（János Weissmüller），具体地点有两种不同的说法，分别是在今日的罗马尼亚和塞尔维亚境内。其父是天主教教徒，其母是犹太人，均说德语。1905年1月26日，维斯穆勒一家移民美国，根据纽约市埃利斯岛的纪录，其一家都被列为德国裔匈牙利人。