李广有三个儿子：李当户、李椒、李敢，均担任郎官。

某日汉武帝与宠臣韩嫣嬉戏，韩嫣举止轻佻失礼，李当户挺身击打韩嫣，韩嫣逃窜。汉武帝因此赏识李当户的勇猛。

李当户早逝，其弟李椒被任命为代郡太守，两人皆先于李广去世。

李当户留有一遗腹子，名李陵。

李广自刎时，李敢正跟随骠骑将军霍去病征战。

李广死后次年，丞相李蔡因侵占汉景帝陵园墙外空地获罪，本应交由司法审判，但他选择自杀拒审，封国被废除。

李敢因随霍去病攻打匈奴左贤王时骁勇作战，夺取敌军战鼓军旗，斩首众多，被封为关内侯，食邑二百户，并接替父亲李广担任郎中令。

不久，李敢怨恨大将军卫青排挤其父，将其击伤，卫青隐瞒了此事。后来，李敢随汉武帝至雍城甘泉宫狩猎，霍去病为替舅父复仇，射杀李敢。

当时霍去病正得宠，汉武帝对外宣称李敢是被鹿撞死。

一年多后，霍去病病亡。

李敢之女为太子侍妾，颇受宠爱；其子李禹也得太子宠信，但贪图私利，李氏家族从此逐渐衰败。

李陵成年后，被选拔为建章宫骑兵统领，管理皇家骑兵。他善射箭、爱士卒，汉武帝念及李氏世代为将，命他率领八百骑兵。

李陵曾深入匈奴境内二千余里，越过居延海勘察地形，未遇敌军而返。后被任命为骑都尉，统率五千丹阳楚地士兵，在酒泉、张掖一带训练骑射，屯兵防备匈奴。