后来，汉朝用马邑城作为诱饵引诱匈奴单于，派大军埋伏在马邑附近的山谷中，李广被任命为骁骑将军，隶属于护军将军（韩安国）指挥。然而单于察觉了汉军的计谋，中途撤退，汉军无功而返。

四年后，李广以卫尉身份担任将军，率军从雁门关出击匈奴。匈奴兵力强大，击溃了李广的军队，并活捉了他。

单于素来听闻李广的才能，下令说：“抓到李广必须活着送来！”

匈奴骑兵俘虏李广时，他正因受伤患病，被安置在两匹马中间，用绳索编成的网兜托着行进。走了十多里，李广佯装死去，暗中瞥见旁边有个匈奴少年骑着一匹好马，他突然跃起跳上少年的马背，将少年推落，夺下弓箭，策马向南狂奔数十里，重新集结残部，带着他们撤回边塞。匈奴派出数百骑兵追击，李广边逃边用夺来的弓箭射杀追兵，最终得以脱身。

回到汉朝后，朝廷将李广交给司法官吏审判。官吏判定他损失惨重且被匈奴活捉，按律当斩，李广用钱赎罪后被贬为平民。

不久，李广在家闲居数年。他与前颍阴侯的孙子隐居在蓝田南山中打猎。一天夜里，他带一名随从外出，在田间与人饮酒。返回时路过霸陵亭，霸陵尉喝醉了酒，呵斥李广禁止通行。

随从说：“这是前任李将军！”

霸陵尉却道：“现任将军尚且不得夜行，何况是前任！”强行扣留李广在亭中过夜。

没过多久，匈奴入侵杀死辽西太守，击败韩安国将军，朝廷将韩安国调任右北平太守。

于是汉武帝召见李广，任命他为右北平太守。李广请求让霸陵尉随他赴任，一到军中便将其斩首。

李广驻守右北平后，匈奴听闻他的威名，称他为“汉朝的飞将军”，连续数年躲避他，不敢侵犯右北平地界。

一次李广外出打猎，误将草丛中的石头当作老虎，拉弓射箭，箭镞竟完全没入石中。待发现是石头后，他再次尝试射箭，却再也不能射入石内。李广驻守过的郡县若出现猛虎，他常亲自射杀。在右北平时，他曾被一只跃起扑来的老虎抓伤，但最终仍将其射杀。

李广为人清廉，所得赏赐全部分给部下，饮食与士兵共享。他一生担任俸禄二千石的高官四十余年，家中却无多余财物，也从不提及置办家产之事。

李广身材高大，双臂如猿猴般修长灵活，射箭天赋异禀，即便他的子孙或旁人学习箭术，也无人能及。他沉默寡言，平日与人相处时，常在地上画出军阵图研究，或以射箭远近、精准度作赌注饮酒取乐。他一生酷爱射箭，直至生命终结。

李广带兵时，若遇到缺粮断水的困境，士兵未全部喝到水，他绝不靠近水源；士兵未全部吃上饭，他绝不进食。

他治军宽厚而不苛责，士兵因此甘愿为他效力。

但他射箭习惯独特：面对敌人逼近，不到数十步内确保必中绝不放箭，一旦放箭必致敌人应声倒地。这种战术虽精准，却常使部队陷入被动，甚至被敌军围困；他射杀猛兽时也曾因此被反扑受伤。