だが寛永15年（1638年）11月5日に利勝と酒井忠勝が大老に就任すると、酒井忠朝と共に若年寄を罷免された。
然而，在寛永15年（1638年）农历11月5日，利胜与酒井忠胜（日语：酒井忠胜(若狭国小浜藩主)）就任大老后，利隆与忠胜之子忠朝双双被罢免若年寄的职务。