不久后，石建去世，汉武帝便召李广接替其职，担任郎中令。

元朔六年（公元前123年），李广再次被任命为后将军，随大将军卫青从定襄郡出兵攻打匈奴。此战中，许多将领因斩杀敌首数量达标而封侯，唯独李广的部队无功而返。

两年后（公元前121年），李广以郎中令身份率领四千骑兵从右北平出击，博望侯张骞率一万骑兵与其分路进军。

李广部队行进数百里后，匈奴左贤王率四万骑兵将其包围，汉军士兵惊慌失措。

李广命儿子李敢率数十骑兵直冲敌阵，穿透匈奴骑兵的左右两翼后返回，李敢回报：“匈奴人容易对付！”军心这才稳定。

李广命士兵布成圆形防御阵型，面向外围，匈奴猛烈进攻，箭如雨下。汉军死伤过半，箭矢即将用尽。李广下令士兵拉满弓弦但不放箭，自己亲自用大黄弩（强弩名）射杀匈奴副将数人，匈奴攻势稍缓。时至日暮，将士们面如土色，李广却神色自若，从容指挥，全军由此钦佩他的胆魄。

次日，汉军拼死奋战，恰逢张骞援军赶到，匈奴撤围退去。此时汉军已疲惫不堪，无力追击。此战李广部队几乎全军覆没，只得撤回。

按汉朝律法，张骞因延误行军、未按期会师，论罪当斩，后赎罪贬为平民；李广虽杀敌数量与损失相当，功过相抵，未得封赏。

当初，李广的堂弟李蔡与李广一同侍奉汉文帝。景帝时期，李蔡累积军功升至二千石俸禄的官职。汉武帝时，官至代国丞相。

元朔五年（公元前124年），李蔡以轻车将军身份随大将军卫青攻打匈奴右贤王，因战功达标，被封为乐安侯。

元狩二年（公元前121年），他接替公孙弘担任丞相。李蔡的才能仅属中等，名声远不及李广，然而李广一生未能获得爵位封邑，最高官职不过九卿，而李蔡却位列侯爵，官至三公（丞相）。就连李广手下的军官士兵中，也有不少人因军功封侯。

李广曾私下与占卜师王朔闲谈，问道：“自汉朝与匈奴开战以来，我未尝缺席任何一场战役。许多部下才能平庸，却凭军功封侯数十人。我自认不落人后，却始终未能因尺寸之功得封侯爵，这是为何？难道我面相不配封侯？还是命中注定？”

王朔反问：“将军可曾做过令自己悔恨之事？”

李广叹道：“我曾任陇西太守时，羌人叛乱，我诱降八百余人，却在同一天背信将他们全部杀害。至今唯有此事令我悔恨难消。”

王朔道：“最大的灾祸莫过于杀害降卒，这正是将军不得封侯的缘由。”

两年后（公元前119年，元狩四年），大将军卫青、骠骑将军霍去病率军大举北击匈奴。李广屡次主动请战，汉武帝以他年迈为由拒绝，后经多次恳求才勉强同意，任命他为前将军（先锋统帅）随军出征。

李广跟随大将军卫青出征匈奴，出塞后，卫青从俘虏口中得知单于驻地，便亲率精锐奔袭，却命令李广与右将军赵食其的部队合并，改从东路进军。东路迂回绕远，且沿途水草稀少，不利于大军驻扎行进。

李广向卫青请命：“我本是前将军，如今大将军却临时调我走东路。我自少年起便与匈奴交战，如今好不容易有机会正面迎击单于，愿为先锋，拼死与单于决战！”

原来，卫青暗中受汉武帝叮嘱，认为李广年老、命数不佳（“数奇”），不可让其直面单于，以免贻误战机。

同时，公孙敖刚失去侯爵，此次以中将军身份随行，卫青有意让公孙敖与自己一同对战单于立功，故而调离李广。

李广得知内情后，坚决向卫青请辞改道，但卫青拒不接受，命长史将调令文书送至李广幕府，严令：“即刻按命令前往右将军部！”

李广未向卫青辞行便愤然率军出发，与赵食其合兵东行。

因缺乏向导，部队迷路，未能按时与主力会师。卫青与单于交战后，单于逃脱，汉军无功而返。回师南归途中，卫青才在沙漠南缘遇到李广、赵食其的部队。

李广面见卫青后返回军营，卫青派长史送来干粮酒水，并质问李广、赵食其迷路详情，声称要上奏武帝禀明战事经过。

李广尚未回应，卫青又令长史催促其幕府官员接受审讯。

李广挺身而出：“众校尉无罪，迷路责任在我。我自会向朝廷呈送文书担责！”

回到军营后，李广对部下慨叹道：“我自少年从军，与匈奴交战七十余次，此番有幸随大将军迎战单于，却遭调遣迂回绕路，又因迷路贻误军机，岂非天意！如今我已六十余岁，岂能再受那些刀笔小吏的羞辱？”

说罢拔刀自刎。

全军将士无不痛哭。百姓听闻李广死讯，无论是否相识，不分老幼皆为之落泪。而右将军赵食其被交付司法审判，按罪当斩，后赎身为平民。