也在1560年进军越中国，打着协助椎名康胤的旗号袭击神保家的领土，攻陷了富山城，当主逃往增山城。1562年，上杉军包围增山城，神保长职在能登畠山氏的仲介下投降。
西征及晚年.永禄8年（1565年），北条氏康攻击关宿城，辉虎联合佐竹义重欲救之，北条军不战而退。1568年12月，北条家为对抗武田家而改与上杉家结盟，翌年3月，「」成立，辉虎收北条氏康之子三郎为养子，不久即以法名不识庵谦信自称。元龟2年（1571年）10月，氏康逝世，两家同盟破裂，并于天正2年（1574年），与北条氏政军