由良氏以战国大名的身份独立。由良氏的领国上野国被武田氏、上杉氏、古河公方足利氏、后北条氏等强大势力包围。因此，在关东管领上杉氏、后北条氏、上杉谦信之下，立场摇摆不定。永禄12年（1569年），在北条氏康之下，与长尾当长一同对越相同盟作出很大贡献。天正元年（1573年），攻下馆林城，并攻陷后桐生氏的居城柄杓山城，令该氏灭亡，把居城金山城让予嫡男国繁，在天正2年（1574年）于柄杓山城隐居。建立凤仙寺、整备城下町等，在领地内施行善政。在天正6年（1578年）于桐生死去。妻子妙印尼是馆林城城主赤井重秀