公元前119年(元狩四年),汉武帝发动漠北之战,由卫青、霍去病各率五万骑兵由定襄、代郡出击跨大漠远征匈奴本部,李广几次请求随行,汉武帝起初以他年老没有答应,后来经不起李广请求,同意他出任前将军。汉军出塞后,卫青捉到匈奴兵,知道了单于驻地,就自带精兵追逐单于,而命令李广和右将军队伍合并,从东路出击。东路迂回绕远,而且缺乏水草,势必不能并队行进。李广就请求说:“我的职务是前将军,大将军却命令我从东路出兵,况且我从少年时就与匈奴作战,至今才得到与匈奴对阵的一次机会,我愿做前锋,先与单于决战。”卫青曾暗中受到汉武帝警告,认为李广年老,命运不好,不让他与单于对阵,恐不能实现俘获单于的愿望。当时公孙敖刚刚丢掉了侯爵任中将军,随卫青出征,卫青也想让公孙敖跟自己一起与单于对敌,故意把李广调开,李广也知道内情,所以坚决要求卫青改调令,卫青不答应,命令长史写文书发到李广的幕府,对他说:“赶快到右将军部队中去,照文书上写的办。”李广不向卫青告辞就启程了,心中非常恼怒地前往军部,领兵与赵食其合兵后从东路出发。军队没有向导,有时迷路,结果落在卫青之后,卫青与单于交战,单于逃跑,卫青没能活捉单于只好收兵。卫青南行渡过沙漠,才遇到李广与赵食其的军队。李广谒见大将军后回自己军中。卫青派长史送给李广干粮和酒,顺便向李广、赵食其询问迷路情况,卫青要给汉武帝上书报告军情。李广没有回答。卫青派长史急令李广幕府人员前去受审对质。李广说:“校尉们无罪,是我迷失道路,我现亲自到大将军幕府去受审对质。”到大将军幕府,李广对他的部下说:“我从少年起与匈奴作战七十多次,如今有幸随大将军出征同单于军队交战,可是大将军又调我的部队走迂回绕远的路,偏偏迷路,难道不是天意吗?况且我已六十多岁,毕竟不能再受那些刀笔吏的污辱。”于是就拔刀自刎了。李广军中将士都为之痛哭。百姓听到这个消息,不论认识李广否,不论老少都为之落泪。李广死时,他长子李当户、次子李椒都已经过世,仅留下幼子李敢。李敢当时是霍去病的部下,因立有战功被封为关内侯,听说父亲死讯,认为是卫青任意调离李广,因此打伤卫青。卫青隐藏了李敢的打人不法行为,但卫青的外甥霍去病却不能接受部属殴打自己舅舅,后来在甘泉宫狩猎时射杀了李敢。