尼尔森出生于欧登塞南部小村庄Sortelung的一个贫穷画家和油漆匠之家，他的父亲会演奏小提琴。他在十二个孩子中排第七。8岁的时候他就在他父亲和当地的一位教师那里学习小提琴。但很快他就转到吹奏乐器上面，而且在一个军乐队里供职14年。这段日子在他的自传《菲英岛上的童年》(1927年)里面有所描述。1883年他到哥本哈根皇家音乐学院学习。他的专业是小提琴，并曾得到过作曲家如尼尔斯·加德的鼓励。1888年他的初次创作"弦乐小组曲" op.1获得成功。1889年他成为哥本哈根皇家剧院小提琴手。而他获得了一份奖学