亲死后由兄长色部显长继承家督，但因体弱多病，于天正4年（1576年）隐居，改由长实继承家督成为色部氏当主，仕于上杉谦信。天正6年（1578年）谦信死后爆发御馆之乱，长实支持上杉景胜，而与上杉景虎对抗。之后成为景胜的家臣。天正9年（1581年）爆发新发田重家之乱，虽然正室为重家的妹妹，但仍支持景胜并协助讨平乱事。天正16年（1588年）跟随景胜上洛面谒丰臣秀吉，与直江兼续、须田满亲等获赐丰臣姓。天正18年（1590年）爆发仙北一揆，依照秀吉命令镇守出羽国平鹿郡大森城，与大谷吉继共同镇压叛乱，屡获军功。