以功臣之子封为仪同，累迁至骠骑将军。隋炀帝即位，担任张掖郡太守。因为反击吐谷浑和党项立功，升任虎贲郎将。隋炀帝东征高句丽，阴世师兼任涿郡，镇压民变，转任楼烦郡太守、左翊卫将军。大业十二年（616年），隋炀帝南巡江都，阴世师和代王杨侑留守西京大兴城。次年，李渊在太原起兵，阴世师杀死李渊第五子李智云，将李渊父祖的坟墓毁坏，李渊攻入西京，将他杀死。其子阴弘智等因年幼得免，女儿阴氏则成为李渊次子李世民的妾室，即后来齐王李祐的生母。