叫做罗劳的村子，父亲是车匠。尽管父母亲不识谱，但在海顿的记忆里，一家人还有邻居们经常一起唱歌。在海顿很小的时候，人们就发现了他的音乐天赋。他五，六岁时，也就是1737或1738年，被送到海茵堡附近的亲戚家，以接受那里教堂唱诗班的训练。1740年，在当时维也纳的斯蒂芬大教堂音乐总监乔治·罗伊特尔下乡选苗子的时候被相中。罗伊特尔把海顿带到了维也纳，在其后的九年里海顿一直在儿童合唱团唱歌。在最后的四年是和他的弟弟迈克尔在一起。其间海顿学习唱歌，钢琴和小提琴。罗伊特尔修改了海顿的第一首作曲，但并未给他正规教授作曲课