十五年，征拜兵部尚书，未赴京，会薛延陀遣其子大度设帅骑八万南侵李思摩部落。命勣为朔州行军总管，率轻骑三千追及延陀于青山，击大破之，斩其名王一人，俘获首领，虏五万余计，以功封一子为县公。勣时遇暴疾，验方云，须灰可以疗之，太宗乃自翦须，为其和药。勣顿首见血，泣以恳谢，帝曰：“吾为社稷计耳，不烦深谢。”十七年，高宗为皇太子，转勣太子詹事兼左卫率，加位特进，同中书门下三品。太宗谓曰：“我兒新登储贰，卿旧长史，今以宫事相委，故有此授。虽屈阶资，可勿怪也。”太宗又尝闲宴，顾勣曰：“朕将属以幼孤，思之无越卿者。公往不遗于李密，今岂负于朕哉！”勣雪涕致辞，因噬指流血。俄而沉醉，乃解御服覆之，其见委信如此。十八年，太宗将亲征高丽，授勣辽东道行军大总管，攻破盖牟、辽东、白崖等数城，又从太宗摧殄驻跸阵，以功封一子为郡公。二十年，延陀部落扰乱，诏勣将二百骑便发突厥兵讨击。至乌德鞬山，大战破之。其大首领梯真达于率众来防，其可汗咄摩支南窜于荒谷，遣通事舍人萧嗣业招慰部领，送于京师，碛北悉定。二十二年，转太常卿，仍同中书门下三品。旬日，复除太子詹事。二十三年，太宗寝疾，谓高宗曰：“汝于李勣无恩，我今将责出之。我死后，汝当授以仆射，即荷汝恩，必致其死力。”乃出为叠州都督。高宗即位，其月，召拜洛州刺史，寻加开府仪同三司，令同中书门下，参掌机密。是岁，册拜尚书左仆射。永徽元年，抗表求解仆射，仍令以开府仪同三司依旧知政事。四年，册拜司空。初，贞观中，太宗以勋庸特著，尝图其形于凌烟阁，至是，帝又命写形焉，仍亲为之序。显庆三年，从幸东都，在路遇疾，帝亲临问。麟德初，东封泰山，诏勣为封禅大使，乃从驾。次滑州，其姊早寡，居勣旧闾，皇后亲自临问，赐以衣服，仍封为东平郡君。又坠马伤足，上亲降问，以所乘赐之。
乾封元年，高丽莫离支男产为其弟男建所逐，保于国内城，遣子献城诣阙乞师。总章元年，命勣为辽东道行军总管，率兵二万略地至鸭绿水。贼遣其弟来拒战，勣纵兵击败之，追奔二百里，至于平壤城。男建闭门不敢出，贼中诸城骇惧，多拔人众遁走，降款者相继。勣又引兵围平壤，辽东道副大总管刘仁轨、郝处俊、将军薛仁贵并会于平壤，犄角围之。经月余，克其城，虏其王高藏及男建、男产，裂其诸城，并为州县，振旅而旋。令勣便道以高藏及男建献于昭陵，礼毕，备军容入京城，献太庙。二年，加太子太师，增食实封通前一千一百户。其年寝疾，诏以勣为司卫正卿，使得视疾。寻薨，年七十六。帝为之举哀，辍朝七日，赠太尉、扬州大都督，谥曰贞武，给东园秘器，陪葬昭陵。令司平太常伯杨昉摄同文正卿监护。及葬日，帝幸未央古城，登楼临送，望柳车恸哭，并为设祭。皇太子亦从驾临送，哀恸悲感左右。诏百官送至故城西北，所筑坟一准卫、霍故事，象阴山、铁山及乌德鞬山，以旌破突厥、薛延陀之功。光宅元年，诏勣配享高宗庙庭。