彦伯是尔朱荣的从弟，祖父并州安州刺史、始昌侯尔朱侯真，父亲武衞将军、华州刺史尔朱买珍，彭城王尔朱仲远和乐平郡王尔朱世隆的兄长。他个性和厚，释褐试奉朝请，累迁奉车都尉，担任为尔朱荣府内长史。长广王元晔被尔朱兆与尔朱世隆拥立为皇帝，任命尔朱彦伯为侍中。广陵王元恭躲藏于龙花佛寺，他就往来劝勉晓喻，表示殷勤；唯当时由于已立长广王为帝，尔朱兆认为尔朱彦伯不参与预谋，十分愤怒，打算攻打尔朱世隆。元恭下诏华山王元鸷兼任尚书仆射、北道大使安抚尔朱兆，但他尚未释然，于是尔朱世隆派遣尔朱彦伯亲自劝谕，尔朱兆才打消念头。尔朱