，是武则天统治期间着名法官大理卿徐有功的六世孙。祖上为北祖上房徐氏。曾祖父徐宰为大理评事，祖父徐陶中进士，父徐商在唐懿宗年间为宰相。徐彦若至少有四个弟弟徐仁嗣、徐仁矩、徐仁范和徐仁勗。《旧唐书》记载其有弟徐彦枢，未知是否即以上四人之一。徐彦若于唐懿宗咸通十二年（872年）中进士。唐僖宗干符元年（874年）十一月，以吏部员外郎为长安令。末年，以尚书郎知制诰，正拜中书舍人。
唐昭宗年间.
拜相前.文德元年（888年），唐僖宗崩，弟唐昭宗继位。徐彦若以吏部侍郎迁