氏康信任允许他继续经营领国。天文19年（1550年）左右，自号安独斋。永禄2年（1559年）上杉谦信出兵关东，朝直唿应上杉谦信而离反。永禄4年（1561年）上杉谦信自关东撤兵后，被允许回归北条氏，但被问责移居秩父郡。永禄12年（1569年）与武田家的三增峠之战出战立功，回任松山城主，并继承上田家宗家。晚年他将家督让给长子上田长则后隐居。