任淮州刺史。581年、隋朝建立，加位上开府，转任云州刺史。582年、召还担任左武卫将军。晋王杨广驻守并州，李彻作为他的僚属。他总领晋王府军事，进爵齐安郡公。隋文帝在诸子的僚属中，对李彻的武力评价最高。583年，突厥沙钵略可汗入侵隋朝，隋文帝以卫王杨爽为元帅，李彻作为属下长史。隋军在白道遭遇突厥军，行军总管李充节建议以精兵袭击突厥。诸将多持疑惑，只有李彻赞同李充节的意见。李彻与李充节同率精鋭骑兵五千，出突厥不意袭击，获得大胜。沙钵略丢弃金甲，在荒草中逃亡。李彻以功加上大将军。沙钵略可汗向隋朝屈膝称臣，