年，杨坚担任丞相，召他到身边。尉迟迥之乱，尉迟迥派兵攻打小乡，击败元谐。581年、隋朝建国，进位上大将军，封乐安郡公。参与改定律令。吐谷浑进攻凉州，元谐为行军元帅，与行军总管贺娄子干、郭竣、元浩率兵数万，讨伐吐谷浑。吐谷浑定城王钟利房率三千骑渡河，与党项联合。元谐出兵鄯州入青海，阻断敌军退路。两军会战丰利山，元谐击败吐谷浑。吐谷浑太子可博汗率五万骑兵袭击隋军，元谐迎击破敌。追击三十里，俘虏、杀害し数万人，吐谷浑名王十七人、公侯十三人率部下投降。元谐因功受位柱国。担任宁州刺史，在任上恩威并重，但是刚愎自用