接受诏令担任宿卫如同千牛卫一样数年。文帝杨坚赐义臣姓杨氏，为皇侄孙，任陕州刺史。598年，突厥达头可汗侵隋北边，义臣为行军总管率兵3万出白道，遭遇突厥军，撃破之。599年，突厥侵入雁门、马邑，义臣反撃突厥军。突厥军退却至塞外，义臣追撃至大斤山。与太平公史万岁的军队合军，撃破突厥军。600年，史万岁被杨素陷害致死，义臣对突厥的战功竟没有记録。仁寿初年，任朔州总管。604年，炀帝即位，汉王杨谅在并州反乱。代州总管李景被杨谅部将乔钟葵包围，义臣去救援李景。义臣率2万兵，夜间出西陉，天明已进数十里。乔钟葵见义臣