论功行赏时，麦铁杖并没有获得任何奖赏，碰到杨素坐驿车要回京的时候，麦铁杖每天步行跟上，晚上与杨素同宿一店。杨素发现之后了解麦铁杖的意思，上奏封给麦铁杖仪同三司。但因麦铁杖不识字，最后只能放他回家。成阳公李彻欣赏麦铁杖的骁勇，开皇十六年征招麦铁杖，任命为车骑将军，之后跟随杨素北伐突厥，再加开府。炀帝即位时，汉王杨谅在并州造反，麦铁杖又跟随杨素平叛，每战都有先登之功，战后进位柱国。之后任命为莱州刺史，但并没有任何治绩，转任至汝南太守时才开始学习法令，使汝南的群盗绝迹。有一次上朝时，考功郎窦威嘲笑「麦是什么姓