繁長が生まれる直前、父・房長は同族の色部氏と共に、越後守護・上杉定実が伊達稙宗の子・時宗丸を養子に迎えることに異を唱え、入嗣推進派の中条藤資らと対立した。