仕于同是长尾氏出身兼上杉氏当主上杉辉虎（谦信），拜领其偏讳（「辉」字）而改名为辉景（原本「辉」字是辉虎受将军足利义辉下赐的偏讳，因此有破格待遇的意思）。在谦信死后，被真田昌幸等武田氏势力攻击，居城被夺去。受父亲宪景在形式上让予家督，并臣从于武田氏。天正10年（1582年），在武田胜赖被织田信长攻灭后，立即与上野国的织田氏重臣泷川一益结交，并夺回白井城。在信长死于本能寺之变后，投向后北条氏，并送出弟弟鸟房丸（后来的政景、景广）为人质。天正11年（1583年），在父亲宪景死后，家臣中出现应迎受北条氏政