时，唯独李益不获调进，因此常感到忧郁。无奈下李益四处游历，北至河朔、幽州一带，被刘济辟为帐下幕府，后进任为营田副使。他经常与刘济吟诗作对，其文辞间颇有怨望。留在边境期间，李益创作了不少边塞诗作，如《夜发军中》、《夜上受降城闻笛》等，文名进一步显扬。后来唐代宗注意到他的名声，召李益入朝担任秘书少监、集贤殿学士。但李益又因自负才学，而蔑视其他文人，态度恶劣，令人难以容忍，结果有谏官将李益在幽州时常有怨辞之事告知代宗，代宗便下诏贬谪李益。过了一段时间，李益才再得到升迁，累迁至右散骑常侍，于太和初出任礼部尚书，不久