京的时候，麦铁杖每天步行跟上，晚上与杨素同宿一店。杨素发现之后了解麦铁杖的意思，上奏封给麦铁杖仪同三司。但因麦铁杖不识字，最后只能放他回家。成阳公李彻欣赏麦铁杖的骁勇，开皇十六年征招麦铁杖，任命为车骑将军，之后跟随杨素北伐突厥，再加开府。炀帝即位时，汉王杨谅在并州造反，麦铁杖又跟随杨素平叛，每战都有先登之功，战后进位柱国。之后任命为莱州刺史，但并没有任何治绩，转任至汝南太守时才开始学习法令，使汝南的群盗绝迹。有一次上朝时，考功郎窦威嘲笑「麦是什么姓氏？」麦铁杖对答曰「麦豆(窦)没有差别，有什么值得奇怪的