大将军卫青是平阳县人（河东郡平阳县，今山西临汾），他的父亲郑季充当县中小吏，在平阳侯曹寿（汉初相国曹参的曾孙）家做事，曾与平阳侯的小妾卫媪私通，生了卫青。卫青有个同母异父的兄长名叫卫长子，卫青的姐姐卫子夫在平阳公主家得到了皇帝的临幸，所以卫青也就随母姓卫，取字仲卿。卫长子更改字为卫长君。卫长君的母亲叫卫媪。卫媪的长女名叫卫孺，次女名叫少儿，三女就是卫子夫。后来，卫子夫的弟弟步、广都姓卫氏。

卫青是平阳侯家的仆人，小的时候回到父亲郑季家里，他父亲让他牧羊。郑季前妻生的儿子们都把他当作奴仆来对待，不把他算作兄弟。卫青曾经跟人来到甘泉宫的居室，有个脖子上戴着铁枷的犯人给卫青相面说：“你是个贵人，将来能当大官，封侯！”卫青笑一笑说：“我是被奴役的人所生的孩子，能不挨他人打骂就心满意足了，怎能想到封侯的事呢！

卫青长大后，当了平阳侯家的骑兵，时常跟随平阳公主。汉武帝建元二年（前139）的春天，卫青的姐姐卫子夫进入皇宫，受到武帝的宠幸。皇后是堂邑大长公主的女儿，没有儿子，善妒。大长公主听说卫子夫受到汉武帝的宠爱，并且怀有身孕，感到非常嫉妒，于是派人去逮捕卫青。卫青当时在建章宫供职，还没有什么名气。大长公主逮捕了卫青，并想杀死他。卫青的朋友骑郎公孙敖与一些壮士前去将卫青解救出来，因此才幸免于难。皇帝得知此事后，召见了卫青，并任命他为建章监和侍中。同时，卫青的同母兄弟们也得到了显贵的地位，数日之间，卫青的赏赐就累积到了千金。孺嫁给了太仆公孙贺（朱安世被捕成功，却在狱中上书诬告公孙敬声与阳石公主私通以及行巫蛊诅咒天子之事，纯纯冤枉，不过这哥们没啥战功）。卫少儿过去与陈掌有私情，汉武帝召见并提升了陈掌的官职。公孙敖也因此而更加显贵。卫青的姐姐卫子夫被立为夫人，卫青本人则担任了太中大夫的职位。

元光五年（公元前130年），卫青担任车骑将军，率军攻打匈奴，从上谷郡（河北省张家口市怀来县）出兵；太仆公孙贺担任轻车将军，从云中郡（今内蒙古托克托县附近）出兵；大中大夫公孙敖担任骑将军，从代郡（今河北省蔚县附近）出兵；卫尉李广担任骁骑将军，从雁门（今山西省忻州市代县县城）出兵：每支军队各有一万骑兵。卫青率军到达茏城（亦称“龙城”，是古代匈奴的政治中心地，位于今蒙古国中部地区），斩杀了数百名敌人。骑将军公孙敖损失了七千名骑兵；卫尉李广被敌人活捉，后来逃脱回来。根据军法，他们都应当被处斩，但后来通过出钱赎罪，被贬为平民。公孙贺也没有立下功劳。

元朔元年（前128）春天，卫子夫生了男孩，被立为皇后。这年秋天，卫青当车骑将军，从雁门出境，率领三万骑兵攻打匈奴，斩杀敌人几千人。第二年（公元前127），匈奴入侵并杀害了辽西郡（辽宁朝阳市）太守，掳掠了渔阳郡（北京市怀柔区）的二千多人，击败了韩安国（御史大夫，汉武政权中心的人物，公元前127年之后，抑郁去世）所率的汉军。汉朝廷命令将军李息（战功赫赫的）率军攻打匈奴，李息从代郡出兵；同时，命令车骑将军卫青从云中郡出兵，向西一直推进到高阙（内蒙古自治区巴彦淖尔盟杭锦后旗，西北的一个古代军事要塞）。于是攻取了河南地区，直到陇西（甘肃定西），捕获敌人几千名，缴获牲畜十万头，打跑了白羊王和楼烦王。皇帝就把河南地区改设为朔方郡，并划定三千八百户封卫青为长平侯。卫青的校尉苏建有军功，朝廷也划定一千一百户封苏建为平陵侯，并派苏建修筑朔方城。卫青的校尉张次公有军功，被封为岸头侯。

天子说：“匈奴违背天理，扰乱人伦，欺凌长辈，虐待老人，专以盗窃为事，欺诈各个蛮夷之国，策划阴谋，凭借其武力，屡次侵害汉朝边境，因此朝廷调动军队，派遣将领，去讨伐他们的罪恶。《诗经》上不是说吗：‘征讨狁，直到太原’，‘出征的战车，万马奔腾’，‘修筑那座朔方城’。如今车骑将军卫青越过西河地区，直到高阙，斩杀敌军二千三百人，缴获他们的全部战车、辎重和牲畜，已被封为列侯，于是往西平定了河南地区，巡行榆谿的古代要塞，越过梓领，架设北河的桥梁，讨伐蒲泥，攻破符离，斩杀敌人的轻捷精锐的士卒，捕获敌人的侦察兵三千零七十一人，捉到敌人的间谋，割下死敌的左耳以计功劳，赶回敌人的一百多万只马、牛和羊，保全大军，胜利回师，增封卫青三千户。”

第二年（公元前126年，元朔三年），匈奴侵入边境，杀死代郡太守共友，侵入雁门，抢掠一千余人。第二年（公元前125年，元朔四年），匈奴大规模入侵代郡、定襄、上郡、斩杀抢掠汉朝百姓几千人。