父の死後は兄・顕長が家督を継いだが、病弱だったため、天正4年（1576年）に兄が隠居し、代わって家督を譲られて色部氏の当主となり、上杉謙信に仕えた。
天文22年（1553年）出生，为越后长尾氏（上杉氏）重臣色部胜长的儿子，父亲死后由兄长色部显长继承家督，但因体弱多病，于天正4年（1576年）隐居，改由长实继承家督成为色部氏当主，仕于上杉谦信。