120年，李广率四千人出右北平配合张骞的部队作战，遭遇匈奴左贤王精锐四万人包围，僵持一天一夜，弹尽粮绝损失惨重，后来张骞带领一万骑兵赶到，逼走匈奴解围。此战李广因损兵折将没有得到封赏，而张骞因为延误军机，按律当斩，后废为庶人。前119年，汉武帝发动漠北之战，由卫青、霍去病各率五万骑兵由定襄、代郡出击跨大漠远征匈奴本部，李广被分配跟随卫青出征。汉武帝经不起李广请求，同意他打先锋，但随后密信卫青，说李广犯霉运，不能给与先锋官的重任。卫青因此安排李广与赵食其领兵支援东路，令李广颇为不满。由于路途过远的关系，李