刚把俘虏缚上马往回走，匈奴数千骑兵赶来，见到李广的军队，以为是汉军诱敌的疑兵，都大吃一惊，立刻上山摆开阵势。

公元前140年，汉武帝即位，众臣认为李广是名勇将，武帝于是调任李广任未央宫的卫尉。这时程不识也任长乐宫卫尉，他俩从前都以边郡太守的身份统帅军队，却有截然不同的带兵方法。

程不识曰：“李广军极简易，然虏卒犯之，无以禁也；而其士卒亦佚乐，咸乐为之死。我军虽烦扰，然虏亦不得犯我。”士兵人人自便，晚上不打更巡逻自卫，但如果匈奴进攻，大军没办法抵挡。

程不识则以严格治军而闻名，他注重部队的编制，队列和阵式。晚上敲刁斗巡逻，军中事务繁琐，却不怕匈奴进犯。可是士兵却苦于程不识之严，都喜欢跟随李广作战，这是程不识对老战友李广委婉的批评。

程不识景帝时因数次直谏而被任为太中大夫，为人清廉，谨于文法。

汉武帝元光二年（前133年），汉用马邑城（今山西朔县）诱匈奴军臣单于入塞。派大军埋伏在附近的山谷中，李广担任骁骑将军，受护军将军韩安国节制。

最后军臣单于察觉了汉军的谋划撤退，马邑之围无功而返。元光六年（公元前129年），匈奴又一次兴兵南下，前锋直指上谷（今河北省怀来县）。

汉军四路出击。车骑将军卫青直出上谷，骑将军公孙敖从代郡（治代县，今山西大同、河北蔚县一带）出兵，轻车将军公孙贺从云中（今内蒙古托克托东北）出兵，李广任骁骑将军，率军出雁门关，四路将领各率一万骑兵。卫青首次出征，直捣龙城（匈奴祭扫天地祖先的地方），斩首700人。

李广终因寡不敌众而受伤被俘。匈奴单于久仰李广威名，命令手下：“得李广必生致之”(《史记·李将军列传》)匈奴骑兵便把当时受伤得病的李广放在两匹马中间，让他躺在用绳子结成的网袋里。

走了十多里路，李广装死，斜眼瞧见他旁边有个匈奴少年骑着一匹好马，李广突然一跃，跳上匈奴少年的战马，把少年推下马，摘下他的弓箭，策马扬鞭向南奔驰，匈奴骑兵数百人紧紧追赶。李广边跑边射杀追兵，终于逃脱，收集馀部回到了京师。

汉朝廷把李广交给法官，法官判李广部队死伤人马众多，自己又被匈奴活捉，应当斩首，后用钱赎罪，成为平民。但李广展现出的惊人骑射技术给匈奴人留下深刻的印象，这正是匈奴称其为“汉之飞将军”的由来。

李广赋闲期间，曾和颍阴侯灌婴的孙子灌强到蓝田南山（蓝田南山，今陕西蓝田县东。蓝田南山是显官屏居游乐的地方。魏其侯窦婴谢病，亦屏居蓝田南山下数月。）中隐居游玩。曾有一次在夜间带着一个随从骑马外出，跟别人在乡间饮酒。

归来时路过霸陵亭，霸陵夜间宵禁，霸陵亭尉喝醉了酒上前大声呵斥广不让通行。李广的随骑说：“这是前任的李将军。”