天文22年（1553年）出生，为越后长尾氏（上杉氏）重臣色部胜长的儿子，父亲死后由兄长色部显长继承家督，但因体弱多病，于天正4年（1576年）隐居，改由长实继承家督成为色部氏当主，仕于上杉谦信。天正6年（1578年）谦信死后爆发御馆之乱，长实支持上杉景胜，而与上杉景虎对抗。之后成为景胜的家臣。天正9年（1581年）爆发新发田重家之乱，虽然正室为重家的妹妹，但仍支持景胜并协助讨平乱事。天正16年（1588年）跟随景胜上洛面谒丰臣秀吉，与直江兼续、须田满亲等获赐丰臣姓。天正18年（1590年）爆发仙北