哈尔滨投奔之前已在那里安家工作的父亲，居住在曲艺表演丰富的道外北市场。7岁时，师胜杰首次登台，与父亲合作表演了相声《捉放曹》。后来，师胜杰拜天津相声演员朱相臣为师。师胜杰被选入哈尔滨市少年宫艺术团，表演歌剧、快板和相声，曾经为国家主席刘少奇、国务院总理周恩来及外宾西哈努克亲王等演出。1969年8月，16岁的师胜杰到黑龙江生产建设兵团下乡当知青，因政治审查不合格，被安排到八团三十四连进行劳动改造。1975年，师胜杰被抽调到兵团文艺宣传队，不久后与姜昆结对表演相声。1976年，师胜杰和姜昆合作的相声《林海红