奥地利的Kittsee小城，父母是匈牙利犹太人，1833年随全家移居佩斯，幼年时即跟从Stanislaus Serwaczynski（其后成为亨里克·维尼亚夫斯基的老师）学习小提琴。1839年赴维也纳学习音乐。不久，随堂姐芳妮·维特根斯坦（哲学家路德维希·维特根斯坦的祖母）移居莱比锡，在门德尔松的指导下学习小提琴演奏。1844年，在伦敦非常成功地演出了贝多芬的小提琴协奏曲，从此成名。
成名后.门德尔松逝世后，约阿希姆留在莱比锡跟随德国小提琴学派大师费迪南德·大卫继续其演奏生涯。18